La serie What’s Next de MIT Technology Review examina industrias, tendencias y tecnologías para ofrecer una visión anticipada del futuro. Puede leer el resto aquí.
Allá por el verano de 2017, investigadores de IA de Google publicaron un artículo titulado “Attention Is All You Need,” en el que describieron un nuevo tipo de red neuronal llamado transformador. Demostró ser muy eficaz procesando largas secuencias de datos, especialmente texto.
Nueve años después, los transformadores son los motores de cada modelo de lenguaje grande principal del mercado. "Toda la industria de la IA se basa en transformadores", afirma Justin Dangel, cofundador y CEO de la startup de IA Subquadratic. "Son una de las innovaciones más importantes en la historia de la informática, y han cambiado el mundo".
Pero los transformadores empiezan a mostrar su edad. Muchos de los avances recientes en LLMs, como el desarrollo de los llamados modelos de razonamiento y su capacidad para manejar grandes cantidades de entrada a la vez, no son extensiones naturales de esa tecnología central, sino soluciones alternativas que parchean algunos de sus defectos fundamentales.
Un número creciente de científicos e ingenieros se pregunta ahora qué vendrá después. Los LLM no van a desaparecer, pero la forma en que se construyen está por definirse. (MIT Technology Review bautizó a esta futura generación de modelos como LLMs+ en la lista de este año de las 10 cosas que importan en la IA.)
Aparece una oleada de startups con la esperanza de superar los límites de esta tecnología en auge. Algunas sin duda fracasarán—pero tienen todo por ganar y mucho menos que perder que las empresas que hoy lideran el sector.
La unión hace la fuerza
Pero primero, el problema. La principal fortaleza de los transformadores reside en un mecanismo llamado atención densa, que codifica el significado de un bloque de texto en una serie de números. El proceso implica comparar cada palabra (o parte de una palabra, conocida como token) de ese texto con cada una de las demás palabras mediante una forma de multiplicación.
La atención densa puede capturar el significado del texto con una precisión notable. Pero a medida que la longitud de ese texto aumenta, el número de cálculos necesarios para procesarlo se incrementa rápidamente. Un documento de 10.000 palabras podría requerir que un transformador realizara 50 millones de multiplicaciones. Esa es la principal razón por la que los LLM consumen tanta energía.
Los costes son enormes. OpenAI tiene previsto gastar 50.000 millones de dólares en computación este año, según el presidente de la compañía, Greg Brockman. Y la Agencia Internacional de la Energía pronostica que la cantidad total de electricidad consumida por los centros de datos se duplicará para 2030.
Además, los transformadores tienen dificultades con lo que muchos de los modelos más recientes están diseñados para hacer. Debido a la forma en que procesan el texto palabra por palabra, los transformadores no son muy eficientes a la hora de mantener un seguimiento de mucha información a la vez (en otras palabras, lo que se conoce como su ventana de contexto no puede ser demasiado grande). Y sin embargo, si los LLM han de llevar a cabo tareas más exigentes, necesitarán asimilar mayores cantidades de datos: una biblioteca entera de documentos, una base de código completa, o en el caso de los agentes, la salida de otros LLM.
En cuanto a los modelos de razonamiento, estos funcionan escribiéndose notas a sí mismos (en una especie de borrador conocido como cadena de pensamiento) y luego leyéndolas de nuevo, lo que nuevamente aumenta la cantidad de datos que hay que gestionar.
A medida que los LLM se hacen más grandes y mejores, los transformers se han convertido en un cuello de botella. La principal fortaleza de esta tecnología es ahora una limitación.
Estas son cuatro ideas nuevas para solucionar el problema del transformador —innovaciones que podrían cambiar los LLM para siempre, haciéndolos más rápidos, mucho más eficientes y (quizás) incluso más inteligentes.
01: Replanteando la atención
Una forma obvia de hacer los LLM más rápidos y baratos es abordar el problema de frente y cambiar la forma en que funciona la atención. Sustituir la atención densa por un mecanismo llamado atención dispersa, que realiza cálculos en solo algunos emparejamientos de palabras en un bloque de texto en lugar de en todos ellos, puede reducir radicalmente la cantidad de cómputo que los LLM necesitan realizar.
Los investigadores han propuesto numerosos mecanismos de atención dispersa a lo largo de los años. El problema es que ninguno de ellos resultaba tan eficaz como la atención densa a la hora de capturar el significado.
Esto podría haber cambiado. Subquadratic, una startup con sede en Miami, afirma haber inventado el primer mecanismo de atención dispersa que rivaliza con los principales LLM convencionales en un puñado de tareas, incluyendo búsqueda y codificación. Es una afirmación rotunda (y algunas personas en el sector siguen siendo escépticas).
Subquadratic afirma que su modelo, SubQ, funciona determinando sobre la marcha —para cada fragmento de texto que se le proporciona— qué palabras son relevantes y cuáles no. La compañía también asegura que miles de personas se han inscrito en su lista de espera y planea hacer que el modelo esté ampliamente disponible en breve.
Mientras tanto, Manifest AI, una startup con sede en San Francisco, aborda el problema desde un ángulo diferente. En lugar de cambiar cómo funciona la atención, la está reemplazando por algo distinto.
Ha desarrollado un mecanismo que denomina "power retention", el cual almacena solo la información más relevante para una tarea determinada y asegura que la cantidad de datos que un LLM debe gestionar no se dispare.
Los mecanismos de atención obligan a los LLM a tener en cuenta todo el contenido de su ventana de contexto. Un modelo de atención dispersa (como SubQ) descarta muchas palabras individuales, pero aún conserva una visión general aproximada de todo lo que ha procesado. En contraste, la retención dinámica funciona proporcionando al modelo un resumen continuo de su ventana de contexto. A medida que se añade nueva información, se descarta la menos relevante.
El principio básico de retención existe desde hace una década. Manifest AI afirma que ha actualizado esas técnicas para construir modelos que, por primera vez, puedan competir con los LLM basados en transformadores.
La empresa afirma que es posible adaptar un modelo de transformador a un modelo de retención de potencia con un reentrenamiento mínimo. Para demostrarlo, ha convertido un LLM de código abierto existente para programación, llamado StarCoder, en una versión que utiliza retención de potencia, denominada PowerCoder. También ha lanzado un modelo llamado Brumby, que, según afirma, rivaliza con algunas versiones del popular modelo de código abierto Qwen de Alibaba.
Manifest AI quiere que su tecnología para la retención de la capacidad de procesamiento se convierta en la solución de referencia cuando los LLM necesiten llevar a cabo tareas que impliquen procesar enormes cantidades de datos. Existen muchas aplicaciones útiles, afirmó Carles Gelada, cofundador y CTO de Manifest AI, en un vídeo en el que anunciaba la tecnología de su empresa el año pasado: desde el análisis de vídeos de horas de duración hasta la creación de agentes capaces de mantener la tarea durante semanas.
02: Haciendo los modelos más pequeños y flexibles
Liquid AI, una empresa derivada del MIT con sede en Cambridge, Massachusetts, no ha cambiado ni ha abandonado por completo los transformadores, sino que los combina con su propia tecnología, las redes neuronales líquidas, para construir lo que su cofundador y CEO Ramin Hasani denomina LFMs (modelos fundacionales líquidos).
Los modelos de Liquid AI son mucho más pequeños y consumen menos energía que la mayoría de los LLM. La empresa desarrolla modelos para fabricantes de automóviles, incluyendo Mercedes, que se ejecutan en los pequeños chips integrados en los vehículos. Sus últimos modelos pueden funcionar en una Raspberry Pi, un ordenador para aficionados de baja potencia que cuesta 50 dólares.
Sus modelos están disponibles de forma gratuita para cualquier organización con unos ingresos anuales inferiores a 10 millones de dólares. Y han demostrado ser populares: la compañía ha acumulado casi 34 millones de descargas, afirma Hasani.
Las redes neuronales líquidas se inspiraron en los cerebros de los gusanos. Son una extensión de otro tipo de red neuronal anterior a los transformadores, llamadas redes convolucionales. La innovación clave es un mecanismo que permite a un modelo adaptar su comportamiento a nueva información, de modo que puede aprender sobre la marcha. Eso no es posible con los transformadores: una vez que un modelo es entrenado, su comportamiento es fijo.
Los primeros modelos de Liquid AI eran bastante básicos, pero podían volar drones o conducir vehículos. Con los LFM, la empresa está intentando escalar su tecnología para competir con los LLM convencionales. Sus nuevos modelos igualan el rendimiento de rivales cuatro veces más grandes, incluyendo versiones del Qwen de Alibaba y Gemma, el LLM de código abierto de Google.
Un LLM típico se construye a partir de una pila de transformadores interconectados. Los recientes LFM de Liquid AI son modelos híbridos compuestos por un 20% de transformadores y un 80% de redes neuronales líquidas.
Esa proporción fue hallada por otro sistema de IA que Liquid AI ha desarrollado, el cual utiliza para ayudar a diseñar todos sus modelos. «Es la tecnología central de nuestra empresa ahora mismo», afirma Hasani. Esta IA diseñadora examina muchas combinaciones diferentes de redes neuronales —líquidas, convolucionales y otras más, así como transformadores— y propone diseños que ensamblan diferentes tipos para alcanzar un punto óptimo de rendimiento y eficiencia.
Hasani cree que los Transformers fueron solo el principio: "Tu cerebro es un sistema AGI y funciona con 20 vatios de potencia. ¿Cómo es posible? Podemos ser mucho más innovadores".
03: Generación de texto de una sola vez
Casi todos los LLMs producen su salida palabra por palabra. Tiene sentido, porque así es como las personas hablan y escriben. Pero para los ordenadores, es muy ineficiente.
Es más rápido y barato para los LLM generar texto de una sola vez —produciendo frases o párrafos enteros de golpe. Ese es el enfoque adoptado por Inception, una startup con sede en Palo Alto, California, que está desarrollando LLM utilizando una técnica llamada difusión.
La difusión es más conocida como la tecnología que impulsa la mayoría de los modelos de generación de imágenes y vídeo. Los modelos de difusión se entrenan para tomar una cuadrícula aleatoria de píxeles —como el ruido de una televisión antigua— y convertirla en una imagen. Lo hacen trabajando en todos los píxeles a la vez, determinando cuáles necesitan ser cambiados para que el ruido se parezca más a una fotografía de alta definición.
Resulta que este proceso también funciona con texto. Inception ha entrenado sus LLM para tomar una cadena aleatoria de palabras y convertirla en frases con sentido. Los LLM de difusión siguen utilizando *transformers* para codificar el significado, pero al producir bloques enteros de texto a la vez, hacen que los *transformers* hagan más con menos. “Todavía estás utilizando un modelo *transformer* grande, pero puedes predecir muchos *tokens* a la vez”, afirma Stefano Ermon, cofundador y CEO de Inception. “Por eso estos modelos son mucho más rápidos y rentables en comparación con lo que la mayoría de la gente está construyendo hoy en día.”
El reto consistía en tomar una tecnología diseñada para la generación de imágenes y aplicarla al texto. Con las imágenes, si necesitas cambiar un píxel azul por uno rojo, puedes pasar por colores intermedios, afirma Ermon. Eso no funciona con el texto: “Cuando tienes ‘gato’ y ‘perro’, no hay realmente nada en medio”.
Ermon es también investigador en la Universidad de Stanford. En 2024, él y un par de sus colegas de Stanford descubrieron las matemáticas para hacer que los modelos de difusión funcionaran con texto. Entrenaron un modelo de difusión que igualó el rendimiento de GPT-2 —un LLM que OpenAI construyó en 2019— pero era 10 veces más rápido. Fue suficiente para que Ermon fundara una empresa.
Hoy tiene la mira puesta en las grandes ligas. Inception afirma que su último modelo, Mercury 2, rinde tan bien como algunos de los modelos GPT-4 de OpenAI, lanzados en 2023, pero, de nuevo, 10 veces más rápido. “Somos optimistas con este enfoque porque es el que va a escalar”, afirma Ermon.
Las únicas cosas que importan son la velocidad y el coste, añade: «En última instancia, la moneda de cambio será la inteligencia por dólar».
Inception no es la única empresa que apuesta por la difusión. Google también está experimentando con este enfoque y ha desarrollado un LLM prototipo llamado Diffusion Gemma. Pero a Ermon no le preocupa la competencia. «Creo que es una validación», afirma. «Este es el futuro».
04: Más allá de las palabras
Pathway, otra startup con sede en Palo Alto, es quizás la más extrema de este nuevo grupo. Quiere liberar a los LLM de las limitaciones del lenguaje.
La empresa ha desarrollado un tipo de LLM llamado Dragon Hatchling (en honor a los dragones de la novela de Terry Pratchett El color de la magia, que se materializan si se piensa en ellos con la suficiente intensidad). Su resultado más destacado hasta la fecha es una puntuación alta en un benchmark que enfrenta a los LLM contra más de 250.000 puzles de sudoku muy difíciles. Dragon Hatchling resolvió más del 97% de los puzles; varios LLM punteros de los principales laboratorios no lograron resolver ninguno.
El argumento de Pathway es que, a pesar de su notable éxito en muchas tareas diferentes, todavía existen clases cruciales de problemas en las que los LLM fracasan. El sudoku es solo un ejemplo. Si queremos que los LLM aporten soluciones genuinas y novedosas a problemas reales, necesitamos ir más allá de los transformers, afirma la cofundadora y CEO de Pathway, Zuzanna Stamirowska.
Esto se debe a que los transformers obligan a los LLM a hacerlo todo con texto. Pero el lenguaje no es la mejor herramienta para ciertos tipos de razonamiento. «Es muy difícil representar un tablero de sudoku palabra por palabra», afirma Stamirowska.
La solución de Pathway consiste en cambiar las matemáticas detrás del transformer, reemplazando el mecanismo de atención con una estructura matemática llamada espacio de estados. En lugar de codificar la información palabra por palabra, los espacios de estados la comprimen en una representación más abstracta. Usando esta técnica, Dragon Hatchling puede seguir procesando y produciendo texto, pero también puede imitar formas de razonamiento que no implican secuencias de palabras. Esto no solo hace que el modelo de Pathway sea más eficiente, sino que (en teoría) le permite abordar tareas que otros LLM no pueden hacer.
Pensemos en el ajedrez o las matemáticas —ese tipo de rompecabezas no se retienen en la mente como una frase larga, dice Stamirowska: “El momento ‘eureka’ que surge en el cerebro no está necesariamente en el lenguaje. Argumentaríamos que si hay que razonar en lenguaje, uno está de alguna manera limitado.”
Stamirowska admite que un LLM convencional podría leer un libro sobre cómo resolver un sudoku y luego escribir código para hacerlo. Pero queremos construir modelos con algo más que conocimientos teóricos, dice ella: “La esperanza para la IA no es resolver sudokus; es curar el cáncer. No hay un libro para eso.”
«Los Transformers son una conveniencia de ingeniería con la que nos topamos», añade. «Ha generado una religión, pero es absurdo pensar que no volverá a producirse un avance».