Cuando tres números bastan: la inteligencia artificial empieza a abandonar la nube

Este tema me ha resultado muy interesante: llevamos ya tiempo acostumbrándonos a que los modelos de inteligencia artificial sean enormes y tengan necesariamente que vivir en la nube. La narrativa es clara: tuvimos que vivir inviernos de la inteligencia artificial porque los ordenadores no daban de sí lo suficiente, pero ahora tenemos la nube, el ordenador ilimitado.

Pero… ¿y si esa dependencia no viniese propiamente de la inteligencia artificial, sino que fuese una consecuencia de la forma en que hemos planteado los modelos hasta el momento? Si tenemos en cuenta los avances en cuantización, es viable plantear que podemos encontrar recursos para volver de manera razonablemente cómoda a la ejecución local, algo que podría ofrecernos enormes ventajas en términos de coste y, sobre todo, de control y privacidad. ¿Podrían las llamadas arquitecturas de un bit ayudarnos en esa transición?

¿Qué son las arquitecturas de un bit, o BitNet? Planteémoslo de esta manera: los LLM tradicionales contienen miles de millones de parámetros, que son fundamentalmente los pesos numéricos aprendidos durante su entrenamiento.

Históricamente, estos pesos se han almacenado utilizando números de coma flotante de 16 bits (aunque las cuantizaciones de 8 y 4 bits se están volviendo cada vez más habituales). Si tenemos un modelo con veinte mil millones de parámetros, almacenar cada peso a 16 bits nos supone aproximadamente 40GB para empezar a hablar, sólo para los pesos. Esto convierte al modelo en algo demasiado grande y aparatoso para vivir en un teléfono y para la mayoría de los laptops habituales. ¿Pero qué ocurriría si llevásemos este razonamiento al límite, y obligásemos a los pesos a tomar sólo uno de tres posibles valores, 1, 0 ó -1? Un modelo ternario, o de sólo tres estados posibles requerirían log₂(3), o aproximadamente 1.58 bits de información, y de ahí el término, algo confuso, de «modelos de 1.58 bits» usados desde que Microsoft Research introdujo precisamente esta idea con BitNet b1.58 en 2024 (1.58 bits es una medida informacional; en implementaciones binarias reales los pesos pueden empaquetarse utilizando 2 bits).

Primero probamos modelos de 8 bits, después de 4 bits, y técnicas como GPTQ o AWQ capaces de comprimir modelos ya entrenados manteniendo una parte sorprendentemente grande de sus prestaciones. Esto, normalmente, se hace después del entrenamiento, es decir, entrenar un modelo con mayor precisión y posteriormente aproximar sus pesos mediante un conjunto mucho menor de valores. ¿Qué demuestra la experiencia acumulada? Básicamente, que las redes neuronales contienen una descomunal redundancia numérica. Lo interesante, por tanto, no es únicamente la reducción de memoria: es que una red con miles de millones de conexiones extraordinariamente simples sea capaz de seguir produciendo comportamientos complejos.

Obviamente, llevar a cabo multiplicaciones por 1, 0 ó -1 es sencillísimo, y además, esos modelos más pequeños permiten reducir el tráfico entre la memoria y el procesador, que es un cuello de botella crítico cuando la generación tiene lugar de token en token. El desarrollo de Microsoft estuvo motivado precisamente para aprovechar esa característica, y con ello consiguió aceleraciones de entre 1.37× y 5.07× en arquitecturas ARM y reducciones de consumo energético del 55.4% al 70%.

Hay que dejar claro que BitNet no es simplemente coger un modelo convencional y «redondear» de forma brutal todos sus números a 1, 0 y -1: lo verdaderamente interesante sería entrenar redes que puedan adaptarse a ese rango mínimo de valores desde el propio proceso de aprendizaje. Así, en 2025, Microsoft presentó BitNet b1.58 2B4T, un modelo abierto de 2,000 millones de parámetros entrenado sobre cuatro billones de tokens, con prestaciones comparables con modelos open-weight convencionales de tamaño similar, pero con mucha menos memoria, latencia y consumo.

Si a esto añadimos los llamados Mixture-of-Experts (MoE), que almacenan muchos parámetros pero para cada token activan tan solo una pequeña fracción de los que consideran relevantes, podemos desacoplar aún más la capacidad del coste computacional. Esta idea tiene precedentes muy sólidos: Switch Transformer y después Mixtral fueron capaces de demostrar que un modelo podía poseer muchos más parámetros de los que utiliza en cada inferencia.

Ahora, DeepGrove ha publicado Maple-Preview, un modelo de razonamiento 20B-A1B, es decir, alrededor de 20,000 millones de parámetros totales pero aproximadamente mil millones activos por token, organizado en 256 expertos de los que utiliza ocho. Es una demostración muy interesante de ternarización + MoE + software especializado trabajando conjuntamente. Deberíamos interpretar Maple sólo como una señal, todavía no una demostración definitiva: DeepGrove afirma que el modelo establece una nueva frontera entre memoria, velocidad y prestaciones, pero es un preview, y la propia compañía reconoce que ha recibido poco post-training para tareas agénticas y que todavía faltan evaluaciones independientes. Lo verdaderamente interesante es que un modelo de unos 5GB está empezando a entrar en territorios de razonamiento que hasta hace muy poco sólo podíamos asociar a infraestructura mucho más pesada.

¿Podría esto esto llegar a alterar dónde viven los modelos de inteligencia artificial que usamos habitualmente? Lógicamente, no significa que los centros de datos vayan a desaparecer, porque entrenar modelos de frontera seguirá siendo extraordinariamente caro y algunas tareas seguirán requiriendo modelos enormes, pero sí abre la posibilidad a arquitecturas diferentes, probablemente híbridas: un modelo personal funcionando permanentemente en un teléfono u en un ordenador con nuestros documentos y nuestros contextos privados, que recurre a la nube únicamente cuando necesita capacidades adicionales. Esto representaría un cambio muy interesante en cuanto a privacidad, latencia, coste marginal, dependencia de APIs, consumo energético y posiblemente condicionaría el reparto de poder de toda la industria.

Una revolución así no implicaría únicamente que «la inteligencia artificial ocupase menos», sino que una proporción cada vez mayor de la inteligencia artificial dejase de necesitar la nube de manera incondicional. Y de hecho, esa posibilidad de despliegue local es precisamente una de las motivaciones señaladas tanto por la investigación original de BitNet como por la propia literatura de cuantización. ¿Cuánto tardaremos en ver este tipo de arquitecturas puestas en práctica y en productos de consumo? ¿Puede esta simplificación llevar la inteligencia artificial de forma eficiente a nuestros dispositivos y a nuestros bolsillos?

This article is also available in English on my Medium page, «How 1-bit models could bring AI back to your pocket«