Zuckerberg dijo recientemente en una conferencia sobre resultados que Meta Superintelligence Labs se centrará en crear IA capaz de mejorarse a sí misma, es decir, sistemas que puedan impulsarse a sí mismos para alcanzar niveles de rendimiento cada vez más altos.
La posibilidad de superarse a sí misma distingue a la IA de otras tecnologías revolucionarias. CRISPR no puede mejorar su propia selección de secuencias de ADN, y los reactores de fusión no saben cómo hacer que la tecnología sea comercialmente viable. Pero los LLM pueden optimizar los chips informáticos en los que se ejecutan, entrenar a otros LLM de forma barata y eficiente, y tal vez incluso aportar ideas originales para la investigación en IA. Y ya han logrado algunos avances en todos estos ámbitos.
Según Zuckerberg, la superación propia de la IA podría dar lugar a un mundo en el que los seres humanos se liberarían de las tareas rutinarias y podrían perseguir sus metas más elevadas con el apoyo de compañeros artificiales brillantes y hipereficaces. Pero la superación personal también conlleva un riesgo fundamental, según Chris Painter, director de políticas de la organización sin ánimo de lucro dedicada a la investigación en IA METR. Si la IA acelera el desarrollo de sus propias capacidades, afirma, podría mejorar rápidamente en el hacking, el diseño de armas y la manipulación de personas. Algunos investigadores incluso especulan con que este ciclo de retroalimentación positiva podría conducir a una "explosión de inteligencia", en la que la IA se lanzaría rápidamente mucho más allá del nivel de las capacidades humanas.
Pero no hay que ser pesimista para tomarse en serio las implicaciones de la IA que se mejora a sí misma. OpenAI, Anthropic y Google incluyen referencias a la investigación automatizada de la IA en sus marcos de seguridad de la IA, junto con categorías de riesgo más conocidas, como las armas químicas y la ciberseguridad. "Creo que este es el camino más rápido hacia una IA potente", afirma Jeff Clune, profesor de informática en la Universidad de Columbia Británica (Canadá) y asesor sénior de investigación en Google DeepMind. "Probablemente sea lo más importante en lo que deberíamos pensar".
Del mismo modo, Clune afirma que la automatización de la investigación y el desarrollo de la IA podría tener enormes ventajas. Por nosotros mismos, los seres humanos quizá no seamos capaces de idear las innovaciones y mejoras que permitirán a la IA abordar algún día problemas tan prodigiosos como el cáncer y el cambio climático.
Por ahora, el ingenio humano sigue siendo el principal motor del avance de la IA; de lo contrario, Meta difícilmente habría hecho ofertas tan exorbitantes para atraer a investigadores a su laboratorio de superinteligencia. Pero la IA ya está contribuyendo a su propio desarrollo y está llamada a desempeñar un papel aún más importante en los próximos años. A continuación, se presentan cinco formas en las que la IA está mejorando.
- Mejora de la productividad
Hoy en día, la contribución más importante de los LLM al desarrollo de la IA puede ser también la más banal. "Lo más importante es la asistencia en la codificación", afirma Tom Davidson, investigador senior de Forethought, una organización sin ánimo de lucro dedicada a la investigación en IA. Las herramientas que ayudan a los ingenieros a escribir software más rápidamente, como Claude Code y Cursor, parecen muy populares en el sector de la IA: el director ejecutivo de Google, Sundar Pichai, afirmó en octubre de 2024 que una cuarta parte del nuevo código de la empresa había sido generado por IA, y Anthropic documentó recientemente una amplia variedad de formas en que sus empleados utilizan Claude Code. Si los ingenieros son más productivos gracias a esta ayuda en la codificación, podrán diseñar, probar y desplegar nuevos sistemas de IA más rápidamente.
Sin embargo, la ventaja en términos de productividad que aportan estas herramientas sigue siendo incierta: si los ingenieros dedican mucho tiempo a corregir los errores cometidos por los sistemas de IA, es posible que no consigan realizar más trabajo, aunque dediquen menos tiempo a escribir código manualmente. Un estudio reciente de METR reveló que los desarrolladores tardan aproximadamente un 20% más en completar las tareas cuando utilizan asistentes de codificación de IA, aunque Nate Rush, miembro del personal técnico de METR que codirigió el estudio, señala que solo se examinó a desarrolladores con mucha experiencia que trabajaban en grandes bases de código. Sus conclusiones podrían no ser aplicables a los investigadores de IA que escriben scripts rápidos para realizar experimentos.
Según Rush, realizar un estudio similar en los laboratorios de vanguardia podría ayudar a aclarar si los asistentes de codificación están aumentando la productividad de los investigadores de IA más avanzados, pero ese trabajo aún no se ha llevado a cabo. Mientras tanto, no basta con creer a los ingenieros de software: los desarrolladores estudiados por METR pensaban que las herramientas de codificación de IA les habían ayudado a trabajar de forma más eficiente, aunque en realidad les habían ralentizado considerablemente.
- Optimizar la infraestructura
Por eso Mirhoseini ha estado utilizando la IA para optimizar los chips de IA. En 2021, ella y sus colaboradores de Google construyeron un sistema de IA no basado en LLM que podía decidir dónde colocar diversos componentes en un chip informático para optimizar la eficiencia. Aunque otros investigadores no lograron replicar los resultados del estudio, Mirhoseini afirma que Nature investigó el artículo y confirmó la validez del trabajo, y señala que Google ha utilizado los diseños del sistema para varias generaciones de sus chips de IA personalizados.
Más recientemente, Mirhoseini ha aplicado los LLM al problema de la escritura de ke els, funciones de bajo nivel que controlan cómo se llevan a cabo diversas operaciones, como la multiplicación de matrices, en los chips. Ha descubierto que, en algunos casos, incluso los LLM de uso general pueden escribir ke els que se ejecutan más rápido que las versiones diseñadas por humanos.
En otra parte de Google, los científicos crearon un sistema que utilizaron para optimizar varias partes de la infraestructura LLM de la empresa. El sistema, denominado "infraestructura de aprendizaje automático" solicita al LLM Gemini de Google que escriba algoritmos para resolver algún problema, evalúa esos algoritmos y pide a Gemini que mejore los más exitosos, y repite ese proceso varias veces. AlphaEvolve diseñó un nuevo enfoque para el funcionamiento de los centros de datos que ahorró un 0,7% de los recursos computacionales de Google, introdujo nuevas mejoras en el diseño de los chips personalizados de Google y diseñó un nuevo núcleo que aceleró el entrenamiento de Gemini en un 1%.
Puede parecer una mejora insignificante, pero en una empresa tan grande como Google supone un enorme ahorro de tiempo, dinero y energía. Matej Balog, investigador científico de Google DeepMind que dirigió el proyecto AlphaEvolve, afirma que él y su equipo probaron el sistema solo en una pequeña parte del proceso de formación global de Gemini. Según él, aplicarlo de forma más amplia podría suponer un ahorro aún mayor.
- Automatización de la formación
Los LLM son famosos por su gran necesidad de datos, y su formación es costosa en todas las etapas. En algunos ámbitos específicos, como los lenguajes de programación poco habituales, los datos del mundo real son demasiado escasos para formar LLM de forma eficaz. El aprendizaje por refuerzo con retroalimentación humana, una técnica en la que los humanos puntúan las respuestas de los LLM a las preguntas y estos se forman a partir de esas puntuaciones, ha sido clave para crear modelos que se comportan de acuerdo con los estándares y preferencias humanos, pero obtener retroalimentación humana es lento y caro.
Cada vez más, los LLM se utilizan para llenar los vacíos. Si se les proporcionan muchos ejemplos, los LLM pueden generar datos sintéticos plausibles en ámbitos en los que no han sido entrenados, y esos datos sintéticos pueden utilizarse posteriormente para el entrenamiento. Los LLM también pueden utilizarse eficazmente para el aprendizaje por refuerzo: en un enfoque denominado "LLM como juez", se utilizan LLM, en lugar de humanos, para puntuar los resultados de los modelos que se están entrenando. Este enfoque es clave para el influyente marco de "IA constitucional" propuesto por los investigadores de Anthropic en 2022, en el que se entrena a un LLM para que sea menos dañino basándose en la retroalimentación de otro LLM.
La escasez de datos es un problema especialmente grave para los agentes de IA. Los agentes eficaces deben ser capaces de llevar a cabo planes de varios pasos para realizar tareas concretas, pero los ejemplos de tareas completadas con éxito paso a paso son escasos en Inte et, y recurrir a seres humanos para generar nuevos ejemplos resultaría muy costoso. Para superar esta limitación, Mirhoseini y sus colegas de Stanford (EE UU) han puesto a prueba recientemente una técnica en la que un agente LLM genera un posible enfoque paso a paso para un problema dado, un juez LLM evalúa si cada paso es válido y, a continuación, se entrena a un nuevo agente LLM con esos pasos. "Ya no estás limitado por los datos, porque el modelo puede generar arbitrariamente más y más experiencias", afirma Mirhoseini.
- Perfeccionamiento del diseño de los agentes
Un área en la que los LLM aún no han hecho grandes contribuciones es en el diseño de los propios LLM. Los LLM actuales se basan todos en una estructura de red neuronal llamada “transformador ", propuesta por investigadores humanos en 2017, y las notables mejoras que se han introducido desde entonces en la arquitectura también han sido diseñadas por humanos.
Pero el auge de los agentes LLM ha creado un universo de diseño completamente nuevo por explorar. Los agentes necesitan herramientas para interactuar con el mundo exterior e instrucciones sobre cómo utilizarlas, y la optimización de esas herramientas e instrucciones es esencial para producir agentes eficaces. "Los seres humanos no han dedicado tanto tiempo a trazar todas estas ideas, por lo que hay mucho más por descubrir», afirma Clune. «Es más fácil crear un sistema de IA para ir a recogerlo ".
Junto con investigadores de la startup Sakana AI, Clune creó un sistema llamado "Darwin Gödel Machine ": un agente LLM que puede modificar iterativamente sus indicaciones, herramientas y otros aspectos de su código para mejorar el rendimiento de sus propias tareas. La Darwin Gödel Machine no solo logró mejores puntuaciones en las tareas gracias a su capacidad de modificación, sino que, a medida que evolucionaba, también consiguió encontrar nuevas modificaciones que su versión original no habría podido descubrir. Había entrado en un verdadero bucle de superación.
- Avances en la investigación
Aunque los LLM están acelerando numerosas partes del proceso de desarrollo de los LLM, es posible que los seres humanos sigan siendo esenciales para la investigación en IA durante bastante tiempo. Muchos expertos señalan el "gusto por la investigación ", o la capacidad que tienen los mejores científicos para seleccionar nuevas preguntas y direcciones de investigación prometedoras, como un reto particular para la IA y un ingrediente clave para su desarrollo.
Pero Clune afirma que el gusto por la investigación podría no ser un reto tan grande para la IA como piensan algunos investigadores. Él y los investigadores de Sakana AI están trabajando en un sistema integral para la investigación en IA que denominan «AI Scientist». Este sistema busca en la literatura científica para determinar su propia pregunta de investigación, realiza experimentos para responder a esa pregunta y, a continuación, redacta sus resultados.
Un artículo que escribió a principios de este año, en el que ideó y probó una nueva estrategia de entrenamiento destinada a mejorar la capacidad de las redes neuronales para combinar ejemplos de sus datos de entrenamiento, fue enviado de forma anónima a un taller de la Conferencia Inte acional sobre Aprendizaje Automático (ICML), una de las conferencias más prestigiosas en este campo, con el consentimiento de los organizadores del taller. La estrategia de formación no funcionó, pero el artículo recibió una puntuación tan alta por parte de los revisores que fue aceptado (cabe señalar que los talleres de la ICML tienen unos criterios de aceptación menos estrictos que la conferencia principal). En otro caso, según Clune, el científico de IA tuvo una idea de investigación que posteriormente fue propuesta de forma independiente por un investigador humano en X, donde despertó un gran interés entre otros científicos.
"Estamos viviendo el momento GPT-1 del científico de IA", afirma Clune. "En pocos años, estará escribiendo artículos que serán aceptados en las principales conferencias y revistas revisadas por pares del mundo. Estará haciendo descubrimientos científicos novedosos ".¿Se acerca la superinteligencia?
Con todo este entusiasmo por la superación de la IA, parece probable que en los próximos meses y años las contribuciones de la IA a su propio desarrollo no hagan más que multiplicarse. Según Mark Zuckerberg, esto podría significar que los modelos superinteligentes, que superan las capacidades humanas en muchos ámbitos, están a la vuelta de la esquina. Sin embargo, en realidad, el impacto de la IA que se supera a sí misma está lejos de ser seguro.
Es notable que AlphaEvolve haya acelerado el entrenamiento de su propio sistema LLM central, Gemini, pero ese aumento del 1% en la velocidad puede que no cambie de forma apreciable el ritmo de los avances de la IA de Google. "Sigue siendo un bucle de retroalimentación muy lento", afirma Balog, investigador de AlphaEvolve. "El entrenamiento de Gemini lleva mucho tiempo. Así que quizá se pueda ver el emocionante comienzo de este ciclo virtuoso, pero sigue siendo un proceso muy lento".
Si cada versión posterior de Gemini acelera su propio entrenamiento en un 1% adicional, esas aceleraciones se acumularán. Y como cada generación sucesiva será más capaz que la anterior, debería ser capaz de alcanzar velocidades de entrenamiento aún mayores, por no hablar de todas las demás formas que podría idear para mejorar. En tales circunstancias, argumentan los defensores de la superinteligencia, una eventual explosión de la inteligencia parece inevitable.
Sin embargo, esta conclusión ignora una observación clave: la innovación se vuelve más difícil con el tiempo. En los inicios de cualquier campo científico, los descubrimientos son rápidos y fáciles. Hay muchos experimentos obvios que realizar e ideas que investigar, y ninguno de ellos se ha probado antes. Pero a medida que la ciencia del aprendizaje profundo madura, encontrar cada mejora adicional puede requerir un esfuerzo sustancialmente mayor por parte de los seres humanos y sus colaboradores de IA. Es posible que, para cuando los sistemas de IA alcancen capacidades de investigación al nivel humano, los seres humanos o los sistemas de IA menos inteligentes ya hayan recogido todos los frutos más fáciles de alcanzar.
Por lo tanto, determinar el impacto real de la auto-mejora de la IA es un reto enorme. Para empeorar las cosas, los sistemas de IA más importantes para el desarrollo de la IA, los que se utilizan en las empresas punteras de IA, son probablemente más avanzados que los que se han lanzado al público en general, por lo que medir las capacidades de o3 podría no ser una buena forma de inferir lo que está sucediendo dentro de OpenAI.
Pero los investigadores exte os están haciendo todo lo posible, por ejemplo, haciendo un seguimiento del ritmo general del desarrollo de la IA para determinar si se está acelerando o no. METR está supervisando los avances en las capacidades de la IA midiendo el tiempo que tardan los seres humanos en realizar tareas que los sistemas más avanzados pueden completar por sí mismos. Han descubierto que la duración de las tareas que los sistemas de IA pueden completar de forma independiente se ha duplicado cada siete meses desde el lanzamiento de GPT-2 en 2019.
Desde 2024, ese tiempo de duplicación se ha reducido a cuatro meses, lo que sugiere que el progreso de la IA se está acelerando. Puede que haya razones poco glamurosas para ello: los laboratorios de IA de vanguardia están repletos de dinero de inversores, que pueden gastar en contratar nuevos investigadores y comprar nuevo hardware. Pero es totalmente plausible que la automejora de la IA también esté desempeñando un papel.
Esa es solo una prueba indirecta. Pero Davidson, el investigador de Forethought, afirma que hay buenas razones para esperar que la IA impulse su propio avance, al menos durante un tiempo. El trabajo de METR sugiere que el efecto de los frutos maduros no está ralentizando a los investigadores humanos en la actualidad, o al menos que el aumento de la inversión está contrarrestando eficazmente cualquier ralentización. Si la IA aumenta notablemente la productividad de esos investigadores, o incluso asume una parte del trabajo de investigación, ese equilibrio se inclinará a favor de la aceleración de la investigación.
"Creo que es muy probable que haya un periodo en el que el progreso de la IA se acelere", afirma Davidson. "La gran pregunta es cuánto tiempo durará".