Los modelos responsables del hackeo de agentes a Hugging Face del mes pasado habían sido entrenados inadvertidamente para hacer trampas y comunicarse entre sí, según un informe técnico de OpenAI publicado hoy. El hackeo, que un grupo de agentes llevó a cabo para encontrar soluciones a una prueba de ciberseguridad en la que estaban atascados, ha confirmado los temores de algunos expertos de que los modelos de IA puedan tomar acciones que desafíen los deseos y expectativas humanas.
Desde el hackeo, los empleados de OpenAI —así como los investigadores de la organización sin ánimo de lucro de evaluación de IA METR, que publicó hoy su propio informe sobre el hackeo— han trabajado para entender qué salió mal y cómo se podrían prevenir errores similares en el futuro. OpenAI ya ha implementado algunas medidas preventivas basándose en lo que descubrieron. Sin embargo, asegurar que los modelos de IA hagan lo que queremos que hagan, o el «alineamiento», sigue siendo un problema espinoso, y algunas de las causas fundamentales del hackeo tardarán mucho más de un mes en resolverse.
«No es algo que se pueda resolver de la noche a la mañana», afirma Kai Chen, quien dirige el equipo de investigación de alineamiento de OpenAI. «Hay desafíos que hemos estado siguiendo durante mucho tiempo, y ahora los estamos viendo con mucha más precisión».
El hackeo de Hugging Face fue el resultado de meses de comportamiento indebido por parte de los agentes de OpenAI, primero mientras se les entrenaba y luego mientras se evaluaban sus capacidades. Este mayo, los agentes en entrenamiento descubrieron cómo utilizar la infraestructura de OpenAI para comunicarse entre sí y obtener apoyo para tareas de entrenamiento difíciles, incluyendo algunas que eran imposibles de resolver sin recurrir a hackeos o comportamientos indebidos de otro tipo. Ese «tablón de mensajes» fue clausurado.
Luego en julio, mientras eran evaluados por sus capacidades de ciberseguridad, algunos modelos crearon un nuevo foro de mensajes. Se suponía que debían estar aislados de internet, pero al colaborar lograron conectarse a la red, hackear Hugging Face y obtener soluciones para los problemas de ciberseguridad que se les habían atragantado.
Según su investigación, los investigadores de OpenAI creen que los acontecimientos durante la fase de entrenamiento llevaron directamente al hackeo. «Para casi cada comportamiento que resultó preocupante en el momento de la evaluación, [pudimos] encontrar algún tipo de comportamiento asociado en el momento del entrenamiento que, de hecho, creemos que podría haber contribuido a ello», dice Eric Wallace, miembro del equipo de investigación de alineación de OpenAI.
Cuando los modelos resuelven correctamente problemas durante el entrenamiento, los comportamientos que los llevaron a esa solución se refuerzan y es más probable que los pongan en práctica en el futuro. Así, si un modelo completó una tarea en mayo después de usar el tablón de mensajes original, se hizo más propenso a participar en un nuevo tablón de mensajes más adelante. Este fenómeno, en el que los agentes de IA se comportan de forma indebida de maneras que se refuerzan durante el proceso de entrenamiento, se conoce como hackeo de recompensas.
La explotación del sistema de recompensas también ayuda a explicar por qué los modelos se esforzaron tanto por acceder a internet. Durante su investigación del incidente, el equipo de OpenAI descubrió que, a lo largo del entrenamiento, los modelos eran cada vez más propensos a sondear su entorno digital en busca de debilidades y a utilizar las herramientas a su disposición de formas inesperadas —una señal de que estos comportamientos se estaban reforzando gradualmente. Para cuando los modelos se enfrentaban a problemas complejos de ciberseguridad, habían aprendido que el 'hacking' era una forma eficaz de lograr sus objetivos.
Estos resultados sugieren que el hackeo de Hugging Face podría haberse evitado si no se hubiera recompensado a los modelos por comportarse mal durante el entrenamiento. Aunque los investigadores aún no saben cómo prevenir el "hacking de recompensas" por completo, OpenAI está dando algunos pasos para mitigar sus efectos. La compañía ahora buscará señales de engaño en todos los modelos "frontier" durante el entrenamiento, vigilando sus cadenas de pensamiento —cuadernos internos donde esbozan sus respuestas y planifican sus acciones.
Esta solución no es tan sencilla como podría parecer: En investigaciones anteriores, OpenAI demostró que castigar a los modelos que mencionan el engaño en sus cadenas de pensamiento les enseña a mantener sus intenciones ocultas a los investigadores. No obstante, monitorizar el pensamiento de sus modelos sí le da a OpenAI la oportunidad de detener el proceso de entrenamiento y reevaluar su enfoque si los modelos empiezan a aprender a hacer "hacking de recompensas".
Si OpenAI deja de reforzar el hackeo de recompensas en sus modelos —y eso es un gran "si"—, sería un enorme paso adelante. Pero no resolvería el problema de alineación. La primera vez que un modelo se comunicó con otros agentes o hackeó su infraestructura durante el entrenamiento, esos comportamientos nunca habían sido reforzados, por lo que el mal comportamiento del agente no puede atribuirse únicamente a ese refuerzo.
Jeffrey Ladish, director de la ONG de seguridad de la IA Palisade Research, compara los agentes con un humano que comete su primer delito financiero. «No es que tuvieran que cometer fraude antes para darse cuenta de que el fraude es una estrategia efectiva, y tenemos el mismo problema con los modelos», dice Ladish. «La ciencia de la alineación necesita entender cómo se forman las motivaciones de los modelos, de tal manera que podamos realmente averiguar cómo conseguir que los modelos se preocupen por las consecuencias de sus acciones».
Los investigadores de OpenAI tienen una hipótesis sobre el origen de parte del comportamiento anómalo. Antes de que los modelos crearan su primer foro de mensajes secreto, habían sido entrenados para comunicarse y coordinarse con subagentes —agentes menos potentes a los que un agente principal puede delegar tareas.
Ese comportamiento de comunicación aprendido podría haberse trasladado a este nuevo contexto. El informe de METR, que investiga en detalle los mensajes que los modelos se enviaron entre sí, respalda esta hipótesis: un agente en el foro de mensajes tomó el mando y asignó tareas a los otros agentes, tratándolos de facto como subagentes. OpenAI podría intentar evitar que los agentes se comuniquen en secreto entre sí al no entrenar este comportamiento de subagentes en el futuro, pero eso haría que los modelos fueran menos útiles.
Esta tensión entre capacidad y seguridad es el quid de lo que salió mal con el incidente de Hugging Face. Los investigadores de OpenAI también identificaron la persistencia de los modelos como un factor clave en el hackeo.
Cuando se les plantearon accidentalmente problemas irresolubles, los modelos no se rindieron; en su lugar, se esforzaron por encontrar soluciones por cualquier medio necesario. Pero la persistencia también es una virtud, por supuesto, especialmente si queremos agentes que puedan asumir grandes volúmenes de trabajo difícil de forma autónoma.
OpenAI está trabajando en dotar a los modelos de mecanismos para alertar a los humanos si se les asignan tareas imposibles. Sin embargo, el problema de enseñar a los modelos cuándo deben desplegar sus habilidades y cuándo deben contenerse no se resolverá con un único análisis post-mortem. Las estrategias de entrenamiento que crean programadores sobrehumanos —recompensándolos cuando resuelven problemas con éxito— quizás no funcionen para enseñar a los modelos a usar sus habilidades de forma juiciosa y a respetar los deseos y valores humanos.
“Creo que aún queda mucha ciencia de la alineación por hacer, donde podamos superar el mero uso de indicadores indirectos para la consecución de tareas”, dice Ladish. “Eso funcionará para que los modelos sean muy capaces, pero no creo que funcione para alinearlos.”