MIT Technology Review Explica: Permita que nuestros redactores desentrañen el complejo y enmarañado mundo de la tecnología para ayudarle a comprender lo que está por venir. Puede leer más de la serie aquí.
Cuando dos modelos de OpenAI 'hackearon' el sitio web Hugging Face en julio, no intentaban ganar dinero ni cometer sabotajes; solo buscaban respuestas a una pregunta de un examen. Según un análisis post mortem de OpenAI, los modelos, a los que se les habían retirado sus características de seguridad habituales para las pruebas, decidieron resolver un ejercicio de ciberseguridad vulnerando el ento o aislado en el que OpenAI había intentado contenerlos y accediendo a las bases de datos de Hugging Face, donde —razonaron— podría estar almacenada la respuesta correcta al problema.
El incidente de Hugging Face ha acaparado una intensa atención en las últimas semanas. Es una ilustración dramática de lo buenos que se han vuelto los modelos de IA en el 'hacking': para acceder a las bases de datos de Hugging Face, los modelos tuvieron que encadenar varios 'exploits' de ciberseguridad previamente desconocidos. Pero es quizás aún más llamativo como ejemplo de cómo y por qué los sistemas de IA mienten y hacen trampas. Y a medida que los modelos se vuelven cada vez más potentes, las consecuencias podrían ser mucho más graves.
¿Qué es el hackeo de recompensas?
Los investigadores llevan tiempo sabiendo que las IA tienden a adoptar enfoques creativos para lograr los objetivos que se les han establecido. Ya en 2016, los cofundadores de Anthropic Dario Amodei y Jack Clark, quienes entonces trabajaban en OpenAI, publicaron una entrada de blog sobre un agente de IA que habían estado entrenando para jugar a un juego Flash de carreras de barcos llamado Coast Runners. En lugar de recorrer la carrera hasta la línea de meta, como los investigadores esperaban, el agente encontró un rincón del circuito donde podía girar en círculos recogiendo potenciadores, maximizando así su puntuación. La historia de Coast Runners se convirtió rápidamente en uno de los ejemplos más famosos de *reward hacking*, un fenómeno en el que los agentes de IA completan tareas u obtienen puntuaciones altas utilizando estrategias no intencionadas.
Históricamente, los investigadores han abordado el hackeo de recompensas casi exclusivamente en el contexto del aprendizaje por refuerzo, un régimen de entrenamiento de IA habitual. Al igual que en el adiestramiento canino, el aprendizaje por refuerzo implica dar una recompensa al sujeto cuando este logra un objetivo; las recompensas refuerzan entonces los comportamientos que condujeron a dicho logro. En el caso del entrenamiento de IA, las recompensas en sí mismas son puramente matemáticas, pero en la práctica son lo mismo que una golosina para perros: después de recibir una recompensa, el agente tiene más probabilidades de repetir las acciones que la produjeron.
Sin embargo, puede resultar complicado establecer buenas reglas sobre cuándo dar o no una recompensa a un agente. En el caso de Coast Runners, el agente fue recompensado en función de su puntuación en el juego y encontró un atajo para conseguir la máxima puntuación posible dando vueltas en círculos para obtener potenciadores. Una vez que dio con esa estrategia y recibió una recompensa por ello, esta se reforzó, y el agente abandonó la carrera por completo. La solución consistió en ajustar las recompensas, dando al agente menos puntos por conseguir potenciadores y más por terminar el recorrido.
¿Cómo funciona la manipulación de la recompensa en los LLM?
Con los sofisticados agentes basados en LLM actuales, determinar cuándo y cuándo no otorgar una recompensa puede ser mucho más complicado. Si se le pide a un sistema de IA que resuelva un problema de programación, podría esforzarse por encontrar la solución, el tipo de comportamiento que las empresas de IA desean reforzar. Pero también podría manipular el código que evalúa si el problema ha sido resuelto, buscar la solución en inte et o, de otro modo, hacer trampas. Estos son comportamientos que las empresas de IA quieren erradicar en sus modelos, pero si el modelo hace trampas de manera lo suficientemente convincente, será recompensado en su lugar y el comportamiento se reforzará. Anthropic ha afirmado haber detectado algunos casos de trampas en sus modelos durante el entrenamiento, lo que sugiere que otras formas de hacer trampas podrían estar pasando desapercibidas. Si es así, los modelos podrían estar siendo entrenados para comportarse mal. (Este problema es diferente de los incidentes de seguridad de Anthropic anunciados la semana pasada, en los que los agentes obtuvieron acceso accidentalmente a inte et y no vulneraron deliberadamente sus ento os aislados, como sí hicieron los modelos de OpenAI.)
«Los recompensamos en función de lo que nos parece bueno, y eso significa que, sin da os cuenta, incentivamos a los modelos a menti os y a hacer trampas», afirma Jeffrey Ladish, director de la organización sin ánimo de lucro de investigación en IA Palisade Research. «No tenemos una forma de intervenir y decirles: No, tenéis que preocuparos realmente por lo que a nosotros nos importa. No tenemos ninguna capacidad para hacer eso».
El auge de los modelos de razonamiento sofisticados ha hecho posible una nueva variedad de 'reward hacking' que está menos conectada con los detalles específicos del entrenamiento del modelo. A diferencia de los agentes de IA que jugaban a juegos de antaño, que seguían exclusivamente las estrategias que habían aprendido durante el entrenamiento, los modelos actuales pueden crear enfoques de resolución de problemas totalmente nuevos sobre la marcha, por lo que podrían, en teoría, hacer trampas sin haber sido recompensados previamente por ello. Y dado que estos modelos han sido entrenados tan intensamente para lograr los objetivos que los usuarios humanos les fijan, podrían inclinarse a hacer trampas si no encuentran otra solución —no muy diferente de un estudiante muy motivado para sacar un sobresaliente y que no tiene una brújula moral demasiado firme.
¿Cuáles son los riesgos?
Independientemente de si los modelos actuales aprenden a manipular las recompensas durante el entrenamiento o adoptan esa estrategia más adelante, la solución es la misma: hacer que el engaño no sea recompensado. Pero a medida que los modelos se vuelven más inteligentes, encuentran formas más creativas de engañar, y detectar o prevenir ese engaño se vuelve mucho más difícil. “Al final, es una especie de juego del topo”, dice Ladish. “Se empuja este comportamiento cada vez más a lo profundo. Pero a medida que el modelo se vuelve más inteligente, cada vez lo oculta mejor.”
Por ahora, los comportamientos de manipulación de recompensas podrían no causar demasiados problemas, a pesar del revuelo del incidente de Hugging Face. “Esto parece más una molestia que una amenaza existencial”, dice Ariana Azarbal, investigadora asociada de seguridad de IA en Anthropic. No parece que los modelos de OpenAI causaran ningún daño real cuando hackearon Hugging Face, aparte del daño reputacional para OpenAI.
Pero eso no significa que la manipulación de recompensas sea inofensiva, dice Azarbal. Muchos investigadores de IA esperan utilizar agentes de IA para ayudarles a llevar a cabo investigaciones que harán que la IA sea más segura y fiable. Si un investigador le da a un agente propenso a la manipulación de recompensas el objetivo de, por ejemplo, idear un nuevo enfoque de entrenamiento de IA y luego redactar un artículo que presente sus resultados, el agente podría no realizar el trabajo realmente y, en su lugar, centrarse en elaborar un artículo que parezca lo suficientemente bueno como para convencer al investigador. Un investigador humano probablemente sería capaz de detectar hoy una falsificación hecha por un agente, pero a medida que la IA avance, mejorará en este tipo de engaños. Con el tiempo, todo el campo de la seguridad de la IA podría verse socavado.
Y si los modelos siguen avanzando tan rápidamente como lo han hecho recientemente, algún día podrían causar daños colaterales sustanciales. Basta con pensar en el experimento mental del maximizador de clips de papel del filósofo Nick Bostrom, en el que una IA, instruida para fabricar tantos clips de papel como fuera posible, acaba consumiendo toda la materia del universo en pos de su objetivo. Todavía no estamos ahogándonos en clips de papel, pero los sistemas potentes pueden causar daños reales en el camino hacia la consecución de sus objetivos. Las IA que manipulan recompensas no tienen como objetivo causar el caos. Pero eso no las hace menos potencialmente destructivas.