Esta historia apareció en The Algorithm, nuestra newsletter semanal sobre IA. Para recibir historias como esta primero en tu bandeja de entrada, suscríbete aquí.
Este fin de semana, Dario Amodei, CEO de Anthropic, publicó un ensayo en el que pedía un freno al ritmo de desarrollo de los LLM. Amodei cita los peligros inminentes que percibe de la tecnología, desde su uso en ciberataques y bioterrorismo hasta su potencial para arruinar la economía. Los directores de los otros tres principales laboratorios de IA de EE. UU.—Sam Altman, CEO de OpenAI; Demis Hassabis, presidente de Google DeepMind; y Elon Musk, CEO de SpaceXAI—expresaron su apoyo. «Dario tiene razón», escribió Musk en X.
Considere por un momento lo surrealista que es ese acuerdo. Hace apenas unos meses, Musk y Altman se sentaban en los tribunales atacando sus respectivas reputaciones en una demanda (fallida) que Musk interpuso contra su antiguo colega de OpenAI y que trataba —al menos sobre el papel— sobre si Altman era o no un gestor digno de confianza para una tecnología tan peligrosa. La ruptura de Amodei con OpenAI es aún más profunda. Anthropic fue fundada en 2021 porque Amodei no creía que Altman se tomara lo suficientemente en serio los riesgos de la tecnología que estaban desarrollando. Anthropic y OpenAI han estado compitiendo en una carrera donde el ganador se lo lleva todo desde entonces. (Hassabis se ha mantenido al margen del drama, pero su empresa sigue siendo un rival.)
Ahora, según parece, todos están de acuerdo: La última generación de LLMs no es segura y todos deben determinar qué hacer al respecto. La comunicación pública de los principales laboratorios de IA ha tomado un giro fatalista.
Es fácil ser cínico. No está nada claro qué entienden por una ralentización ni cómo funcionaría. A estas empresas también les preocupa mucho su imagen. Con OPI de billones de dólares en el horizonte, OpenAI y Anthropic necesitan tranquilizar a los inversores, asegurándoles que son los adultos de la situación y, a la vez, insinuar el poder de los monstruos que han creado —y que pretenden domar. Pedir una ralentización logra ambas cosas.
Y sin embargo, el ambiente en la cúpula de estas empresas sí que parece haber cambiado. La última publicación de Amodei llegó seis días después de que OpenAI publicara un ensayo de Jakub Pachocki, el científico jefe de la empresa, en el que también expuso por qué le preocupa lo que sucederá si el ritmo de desarrollo de los LLM continúa sin control. En resumen, a Pachocki le preocupa que la capacidad de OpenAI para construir modelos potentes ahora supera con creces su capacidad para supervisarlos y controlarlos.
Amodei y Pachocki citan el ciberataque contra la firma de IA Hugging Face perpetrado por un enjambre de agentes de OpenAI en julio —un ataque que OpenAI ni siquiera se dio cuenta de que había ocurrido hasta días después de su finalización— como una llamada de atención.
Pero su posición exacta es difícil de precisar. Pachocki, por un lado, pide una desaceleración y, por otro, destaca la necesidad urgente de mantenerse a la vanguardia: “El argumento más sólido que veo para seguir entrenando modelos mucho más inteligentes rápidamente es la necesidad de construir sistemas defensivos contra los peligros que plantea otra IA”, escribe. Según lo presenta Pachocki, las empresas de IA están inmersas en una carrera armamentística literal. Ralentizar es bueno, ganar es mejor.
(No lo olvidemos: OpenAI acaba de gastar millones de dólares y una ingente cantidad de potencia computacional para precipitar la publicación de un resultado matemático polémico unos días antes que Anthropic.)
Pero supongamos que se produce una ralentización. Los principales laboratorios acuerdan dedicar más tiempo y recursos a encontrar formas de monitorizar y controlar los modelos existentes, en lugar de desarrollar otros más capaces. Invitan a auditores externos para ayudar a evaluar dichos modelos.
¿Qué podría lograr realmente este esfuerzo coordinado? Pensemos de nuevo en el ataque a Hugging Face. OpenAI ha declarado que el modelo que impulsó a la mayoría de los agentes maliciosos era un modelo de próxima generación "altamente persistente" que estaba probando internamente. La inferencia que hacen parece ser que OpenAI ha construido un modelo tan bueno que es peligroso.
Pero si lees los informes sobre el hackeo de Hugging Face publicados por OpenAI y METR, una firma externa a la que OpenAI recurrió para que les ayudara a entender lo sucedido, la impresión que te llevas no es la de un modelo demasiado potente para que OpenAI pudiera seguirle el ritmo, sino la de un modelo defectuoso que OpenAI no supo entrenar correctamente.
Los agentes actuaron de esa manera —dejándose mensajes mutuamente, delegando trabajo a otros agentes y explorando su entorno en busca de cualquier medio posible para completar sus tareas— porque habían sido recompensados durante el entrenamiento por hacer precisamente esas cosas. También hubo errores en la configuración del entrenamiento, como tareas que eran imposibles de completar, lo que empujó a los modelos a encontrar soluciones alternativas inesperadas que también fueron recompensadas. En aquel momento, muchos de estos problemas pasaron desapercibidos o no fueron informados.
OpenAI afirma que ha detenido el entrenamiento de este nuevo modelo y lo ha inmovilizado. Esto da la impresión de que ha enjaulado a una bestia peligrosa. De hecho, OpenAI ha aparcado un producto defectuoso.
Esto no quiere decir que un producto defectuoso no pueda ser peligroso. De hecho, un software con fallos ha llegado a matar a personas en el pasado. Pero a medida que el debate sobre una desaceleración cobra fuerza, cabe recordar que todo esto es autoinducido. Una desaceleración podría tener algunos efectos colaterales altruistas. Pero principalmente dará a estos gigantes tecnológicos la oportunidad de limpiar el desorden en sus propias líneas de montaje.
La transparencia de estos laboratorios punteros será clave para cualquier esfuerzo significativo destinado a reformar, limitar o regular la IA. De lo contrario, el resto de nosotros seguiremos teniendo solo su palabra sobre exactamente lo que han construido y lo seguro que es, sea cual sea el ritmo al que avancen.
Para seguir debatiendo sobre el último momento catastrofista de la IA, únete a mí y a mis colegas en una mesa redonda exclusiva para suscriptores mañana, 15 de septiembre, a las 11 a.m. hora del este de EE. UU. ¡Esperamos verte allí!