Evolucionamos para un mundo lineal. Si caminas durante una hora, cubres una distancia determinada. Camina dos horas y cubrirás el doble de esa distancia. Esta intuición nos fue muy útil en la sabana. Pero falla catastróficamente al enfrenta os a la IA y a las tendencias exponenciales fundamentales en su esencia.
Desde que empecé a trabajar en IA en 2010 hasta ahora, la cantidad de datos de entrenamiento que se utilizan en los modelos de IA de vanguardia ha crecido la asombrosa cifra de 1 billón de veces —desde aproximadamente 10¹⁴ flops (operaciones de punto flotante, la unidad central de cálculo) para los sistemas iniciales hasta más de 10²⁶ flops para los modelos más grandes de hoy. Esto es una explosión. Todo lo demás en IA se deriva de este hecho.
Los escépticos siguen prediciendo barreras. Y siguen equivocándose ante esta épica rampa generacional de computación. A menudo, señalan que la Ley de Moore se está ralentizando. También mencionan la falta de datos, o citan limitaciones energéticas.
Pero cuando se observan las fuerzas combinadas que impulsan esta revolución, la tendencia exponencial parece bastante predecible. Para entender el porqué, merece la pena analizar la compleja y vertiginosa realidad que se esconde tras los titulares.
Imagine el entrenamiento de la IA como una sala llena de personas utilizando calculadoras. Durante años, añadir capacidad computacional significaba añadir más personas con calculadoras a esa sala. Gran parte del tiempo, esos trabajadores permanecían inactivos, tamborileando los dedos sobre sus escritorios, a la espera de que llegaran los números para su siguiente cálculo. Cada pausa era potencial desperdiciado. La revolución actual va más allá de tener más y mejores calculadoras (aunque también las proporciona); en realidad se trata de asegurar que todas esas calculadoras nunca se detengan y que trabajen juntas como una sola.
Tres avances están convergiendo ahora para hacerlo posible. Primero, los cálculos básicos se aceleraron. Los chips de Nvidia han ofrecido un aumento de más de siete veces en el rendimiento bruto en solo seis años, desde 312 teraflops en 2020 a 2.250 teraflops hoy. Nuestro propio chip Maia 200, lanzado este enero, ofrece un 30% más de rendimiento por dólar que cualquier otro hardware de nuestra flota. Segundo, los datos llegan más rápido gracias a una tecnología llamada HBM, o memoria de alto ancho de banda, que apila chips verticalmente como pequeños rascacielos; la última generación, HBM3, triplica el ancho de banda de su predecesora, alimentando datos a los procesadores lo suficientemente rápido como para mantenerlos ocupados todo el tiempo. Tercero, la sala de personas con calculadoras se convirtió en una oficina y luego en un campus o una ciudad entera. Tecnologías como NVLink e InfiniBand conectan cientos de miles de GPU en superordenadores del tamaño de almacenes que funcionan como entidades cognitivas únicas. Hace unos años esto era imposible.
Todas estas mejoras se unen para ofrecer una capacidad de cálculo drásticamente mayor. Donde el entrenamiento de un modelo de lenguaje tardaba 167 minutos en ocho GPU en 2020, ahora toma menos de cuatro minutos en un hardware mode o equivalente. Para poner esto en perspectiva: la Ley de Moore predeciría solo una mejora de aproximadamente 5x durante este período. Nosotros vimos 50x. Hemos pasado de dos GPU entrenando AlexNet, el modelo de reconocimiento de imágenes que dio inicio al auge mode o del aprendizaje profundo en 2012, a más de 100.000 GPU en los clústeres más grandes de hoy, cada una individualmente mucho más potente que sus predecesoras.
Luego está la revolución del software. Una investigación de Epoch AI sugiere que la capacidad de cómputo necesaria para alcanzar un nivel de rendimiento fijo se reduce a la mitad aproximadamente cada ocho meses, mucho más rápido que la duplicación tradicional de entre 18 y 24 meses de la Ley de Moore. Los costes de servir algunos modelos recientes se han reducido hasta en un factor de 900 anualmente. La IA se está volviendo radicalmente más barata de desplegar.
Las cifras para un futuro cercano son igualmente asombrosas. Consideremos que los laboratorios líderes están aumentando su capacidad casi 4 veces anualmente. Desde 2020, la capacidad de cómputo utilizada para entrenar modelos de frontera ha crecido 5 veces cada año. Se prevé que el cómputo global relevante para la IA alcance los 100 millones de equivalentes H100 para 2027, un aumento de diez veces en tres años. Si juntamos todo esto, estamos ante algo parecido a otro aumento de 1000 veces en la capacidad de cómputo efectiva para finales de 2028. Es plausible que para 2030 pongamos en línea 200 gigavatios adicionales de capacidad de cómputo cada año, una cantidad similar al consumo energético máximo del Reino Unido, Francia, Alemania e Italia juntos.
¿Qué nos aporta todo esto? Creo que impulsará la transición de los chatbots a agentes de un nivel casi humano: sistemas semiautónomos capaces de escribir código durante días, realizar proyectos de semanas o incluso meses de duración, hacer llamadas, negociar contratos y gestionar la logística. Olvídese de los asistentes básicos que responden preguntas. Piense en equipos de trabajadores de IA que deliberan, colaboran y ejecutan. Ahora mismo estamos solo en los albores de esta transición, y las implicaciones se extienden mucho más allá de la tecnología. Toda industria basada en el trabajo cognitivo se transformará.
La restricción obvia aquí es la energía. Un solo rack de IA del tamaño de una nevera consume 120 kilovatios, el equivalente a 100 hogares. Pero este apetito choca con otra exponencial: los costes solares han caído casi 100 veces en 50 años; los precios de las baterías han bajado un 97% en tres décadas. Se vislumbra una vía para una escalabilidad limpia.
El capital está desplegado. La ingeniería está dando resultados. Los clústeres de 100 000 millones de dólares, los consumos de energía de 10 gigavatios, los superordenadores a escala de almacén... ya no son ciencia ficción. Ahora se están iniciando estos proyectos en Estados Unidos y en todo el mundo. Como resultado, nos dirigimos hacia una verdadera abundancia cognitiva. En Microsoft AI, este es el mundo que nuestro laboratorio de superinteligencia está planificando y construyendo.
Los escépticos acostumbrados a un mundo lineal seguirán prediciendo rendimientos decrecientes. Seguirán sorprendiéndose. La explosión del cómputo es la historia tecnológica de nuestro tiempo, punto final. Y apenas acaba de comenzar.
Mustafa Suleyman es Consejero Delegado de Microsoft AI.