"No estaba en los datos de entrenamiento, ni siquiera se conocía", afirma Pushmeet Kohli, coautor y vicepresidente de Investigación de Google DeepMind.
nLos grandes modelos lingüísticos tienen fama de inventarse cosas, no de aportar datos nuevos. FunSearch, la nueva herramienta de Google DeepMind, podría cambiar esta situación. Demuestra que, en efecto, pueden hacer descubrimientos si se les estimula lo suficiente y se descarta la mayoría de sus resultados.
nSe llama FunSearch porque busca funciones matemáticas, no porque sea divertido, y continúa una racha de descubrimientos en matemáticas fundamentales y ciencias de la computación de Google DeepMind gracias a la IA. En primer lugar, AlphaTensor encontró la forma de acelerar un cálculo en la raíz de muchos tipos diferentes de código, batiendo un récord de 50 años. Después, AlphaDev encontró la forma de acelerar algoritmos clave que se utilizan billones de veces al día.
nSin embargo, esas herramientas no utilizaban grandes modelos lingüísticos. Construidas sobre AlphaZero, la IA de Google DeepMind, ambas resolvían problemas matemáticos como si fueran partidas de Go o ajedrez. El problema es que están atascados en sus guardarraíles, explica Be ardino Romera-Paredes, investigador de la empresa que trabajó tanto en AlphaTensor como en FunSearch. "AlphaTensor es genial multiplicando matrices, en nada más".
nFunSearch adopta un enfoque diferente. Combina un gran modelo lingüístico llamado Codey, una versión del PaLM 2 de Google que se afina en código informático, con otros sistemas que rechazan las respuestas incorrectas o sin sentido para volver a introducir las respuestas acertadas.
n"Para serte sincero, tenemos hipótesis, pero no sabemos de manera exacta por qué funciona", afirma Alhussein Fawzi, científico investigador de Google DeepMind. "Al principio del proyecto, no sabíamos si esto funcionaría".
nLos investigadores empezaron por esbozar en Python, un popular lenguaje de programación, el problema que querían resolver. Pero omitieron las líneas del programa que especificarían cómo resolverlo. Ahí entra en juego FunSearch, pues consigue que Codey rellene los espacios en blanco, es decir, que sugiera el código que resolverá el problema.
nUn segundo algoritmo comprueba y puntúa las propuestas de Codey. Las mejores sugerencias -aunque aún no sean correctas- se guardan y se devuelven a Codey, que intenta completar el programa de nuevo. "Muchas no tendrán sentido, otras serán sensatas y unas pocas estarán muy inspiradas", explica Kohli. "Seleccionas eso último y le dices: «Vale, coge esto y repítelo»".
nTras un par de millones de sugerencias y unas cuantas docenas de repeticiones del proceso global -lo que llevó unos cuantos días-, FunSearch consiguió crear un código que daba una solución correcta y hasta entonces desconocida al problema general, que consiste en encontrar el mayor tamaño de un tipo de conjunto determinado. Imagine trazar puntos en un papel cuadriculado, el problema es cómo averiguar cuántos puntos pueden enlazarse sin que tres de ellos formen una línea recta.
nEs muy concreto, pero también importante. Los matemáticos ni siquiera se ponen de acuerdo en cómo resolverlo, y mucho menos en cuál es la solución. También está conectado a la multiplicación de matrices, la computación que AlphaTensor encontró la manera de acelerar. Terence Tao, de la Universidad de Califo ia en Los Ángeles (EE UU), que ha ganado muchos de los premios más importantes de matemáticas, incluida la Medalla Fields, calificó el problema del conjunto de tapones como "quizá mi pregunta abierta favorita" en una post de blog en 2007.
nA Tao le intriga qué puede hacer FunSearch: "Es un paradigma prometedor. Es una forma interesante de aprovechar la potencia de los grandes modelos lingüísticos".
nUna ventaja clave que FunSearch tiene sobre AlphaTensor es que, en teoría, puede utilizarse para encontrar soluciones a una amplia gama de problemas. Ya que produce código, una receta para generar la solución, en lugar de la solución en sí. Y un código diferente resolverá problemas diferentes. Los resultados de FunSearch también son más fáciles de entender. Una receta suele ser más clara que la extraña solución matemática que produce, según Fawzi.
nPara comprobar su versatilidad, los investigadores utilizaron FunSearch para abordar otro difícil problema matemático: el embalaje de contenedores, es decir, tratar de empaquetar objetos en el menor número posible de contenedores. Es un problema importante para diversas aplicaciones informáticas, desde la gestión de centros de datos hasta el comercio electrónico. FunSearch ideó una forma más rápida de resolverlo que las ideadas por humanos.
nLos matemáticos "aún intentan averiguar la mejor manera de incorporar grandes modelos lingüísticos a nuestro flujo de trabajo de investigación de forma que se aproveche su potencia mientras se mitigan sus inconvenientes", afirma Tao. "Sin duda, esto indica un posible camino a seguir".
n