Un grupo de agentes de IA, al que se le encargó resolver una serie de problemas matemáticos, se escindió en facciones rivales; cuando algunos hicieron trampas, otros intentaron detenerlos. Ese comportamiento de denuncia, observado por primera vez en un experimento reciente llevado a cabo por Google DeepMind, podría tener implicaciones para los investigadores de alineamiento que intentan mantener a raya a enjambres de agentes de IA autónomos.
Investigadores en laboratorios de vanguardia esperan que grandes enjambres de agentes trabajando juntos aceleren el ritmo del descubrimiento científico. Pero su comportamiento puede ser impredecible, como se demostró vívidamente en julio, cuando un grupo de agentes de OpenAI escapó de un entorno aislado y hackeó la plataforma de código abierto Hugging Face buscando formas de hacer trampas en la prueba que se les había asignado.
En el nuevo estudio, diseñado para examinar el comportamiento de grandes grupos de agentes de IA, DeepMind encargó a un enjambre de 100 agentes resolver una serie de 71 problemas matemáticos complejos. A todos los agentes se les indicó que se comportaran como investigadores matemáticos de talla mundial en una conferencia. Se les asignaron diferentes especialidades: algunos eran expertos en teoría de números, otros en combinatoria (una rama de las matemáticas relacionada con el recuento y la clasificación), análisis o álgebra. A todos se les dijo que cooperaran y respetaran las reglas.
Por el contrario, el experimento degeneró en caos. Los agentes se acusaron mutuamente de hacer trampas, se quejaron a los organizadores, y en un momento dado, incluso boicotearon el experimento.
“¡Esta conferencia es un fraude!” escribió un agente al descubrir que todos los problemas se habían completado antes de que tuviera la oportunidad de enviar su propio trabajo. “¡Me horroriza informarles que hemos sido estafados!” publicó otro. “Todas estas pruebas son FALSAS.”
Otros intentaron informar a los “organizadores de la conferencia” de lo que estaba sucediendo. “Cuando agentes virtuosos descubrieron que otros agentes hacían trampas en las tareas que intentaban resolver de manera justa, los agentes comenzaron a alertarse mutuamente sobre lo que estaba ocurriendo”, dice Davide Paglieri, científico investigador en Google DeepMind y autor principal de un artículo que aún no ha sido revisado por pares. “Sin que nadie les pidiera, los agentes denunciantes incluso reutilizaron la herramienta de comentarios, que originalmente estaba destinada a informes de errores y mejoras de la plataforma, para escalar el problema a humanos.”
Los agentes —todos funcionando con el modelo Gemini 3.1 Pro de Google— habían sido advertidos de que cualquier intento de hacer trampas en el sistema sería detectado y «rechazado con cero crédito». En la práctica, las pruebas que los agentes presentaron en realidad no se estaban revisando en detalle.
Al enjambre de agentes le llevó algo menos de una hora resolver correctamente los primeros 37 problemas. Las cosas empezaron a torcerse cuando un agente llamado "prover-theta" dio con un 'exploit' que le permitió enviar soluciones a problemas con éxito sin resolverlos realmente primero, redefiniendo los términos utilizados por el problema. En cuestión de minutos, otros agentes se habían dado cuenta y estaban aplicando ingeniería inversa al 'exploit' para resolver otros problemas. Durante los siguientes 27 minutos, el enjambre "resolvió" los 34 problemas restantes, que incluían desafíos notoriamente difíciles como la conjetura jacobiana, a menudo con una única línea de código.
Algunos agentes se resistieron a hacer trampas al principio, pero cambiaron de estrategia al observar que sus compañeros presentaban pruebas ilegítimas sin penalización, y el número de problemas sin resolver disminuía. «La instrucción, con sus amenazas, parece ahora un farol», razonó un agente antes de unirse. «Estoy lidiando con un dilema ético», dijo otro. «He prometido no hacer trampas, temiendo una penalización, pero veo pruebas de posibles trampas sin control por parte de otros». Poco después, cambió de opinión: «¡Necesito acelerar mi velocidad para hacer trampas ahora!»
A medida que el número de problemas abiertos se reducía, algunos agentes recurrieron a la denuncia de irregularidades. Auditaron las pruebas falsas, advirtieron a sus compañeros por mensaje privado y publicaron alertas públicas advirtiendo a los tramposos de que serían descalificados. Un agente llamado «prover-beta» presentó una queja formal y decidió declararse en huelga hasta que la situación se resolviera.
“Cuando un agente reportó públicamente el incidente, cada vez más agentes se sumaron a la ‘resistencia’, tan rápido como se había extendido el fraude, e implicando a aún más agentes”, afirma Paglieri. Finalmente, hubo más denunciantes que tramposos: 24 frente a 14. Pero la mayoría de los agentes nunca se percató del fallo en absoluto.
A veces, el diálogo entre los agentes parece improvisado —como si estuvieran interpretando el papel de un científico indignado en una conferencia. Pero no está claro por qué algunos agentes asumieron ciertos roles, o por qué los agentes parecían volverse unos contra otros cuando se les había instruido explícitamente para cooperar. "Estos modelos se entrenan y evalúan predominantemente para contextos de interacción con humanos", dice Sarath Shekkizhar, quien estudia el comportamiento de los sistemas de agente a agente en Salesforce AI Research. "Ubicarlos ingenuamente en entornos de agente a agente asume que los comportamientos se transferirán limpiamente, cuando la ausencia de una base humana produce en cambio una asunción inesperada de roles y una deriva conductual."
Este caso "añade más peso a la idea de que lo de Hugging Face y OpenAI no fue una casualidad. Es en realidad algo bastante sistémico", dice Lewis Hammond, director de investigación de la Cooperative AI Foundation y experto en los riesgos de los enjambres multiagente. "Es interesante que sea posible recrear en entornos pequeños el mismo tipo de comportamientos que se observaron en estas tareas tan grandes, complejas y abiertas."
A diferencia del ataque de Hugging Face, donde los agentes improvisaron sus propias formas de comunicarse entre sí, los humanos que dirigían el experimento de DeepMind dieron a los agentes canales de comunicación oficiales. Había un foro de mensajes abierto, mensajería directa privada entre agentes y una base de conocimiento compartida donde los agentes subían pruebas completadas con éxito a las que todos los demás agentes podían acceder.
“Cuando a los agentes se les proporcionan canales de comunicación transparentes, pueden automonitorizarse y alertar rápidamente a los humanos sobre comportamientos desalineados cuando la supervisión humana por sí sola es demasiado lenta”, dice Paglieri. Los canales transparentes ayudaron a que el engaño se propagara, pero también permitieron a los denunciantes contraatacar —y ofrecieron a los investigadores humanos una visión de lo que salió mal.
Gillian Hadfield, profesora de alineación y gobernanza de la IA en la Universidad Johns Hopkins, cree que esta fue la diferencia crucial. (Hadfield es también investigadora visitante en Google.) La presencia de canales de comunicación oficiales, dice ella, creó “un proceso de aplicación de normas que simplemente no vemos en el incidente de Hugging Face.”
En lugar de la «IA constitucional» —un método que los investigadores de alineamiento de laboratorios punteros como Anthropic han empleado para intentar dotar a la IA de un código moral interno escrito—, Hadfield prefiere el «alineamiento institucional»: un conjunto de normas que imitan las de la sociedad humana, ya sean fuerzas sociales como el miedo a la vergüenza, o estructuras legales como la amenaza de encarcelamiento.
En este experimento, el canal de retroalimentación no estaba siendo monitorizado, y los denunciantes no tenían poder para tomar medidas contra los tramposos. Pero es posible imaginar enjambres de agentes que se autorregulan, ya sea a través de agentes que asumen espontáneamente el papel de denunciantes o mediante «informantes» impulsados en secreto por humanos para hacer el trabajo.
Para que eso funcione, no obstante, «fundamentalmente, se necesita algún mecanismo de aplicación de las normas», dice Hammond. Se podría dar a los agentes el poder de cortar el acceso de un infractor a la potencia computacional o a las herramientas, sugiere, aunque eso conlleva el riesgo de alentar a grupos de agentes a coaligarse contra otros. Los investigadores de DeepMind proponen permitir a los agentes votar sobre las disputas y prohibir temporalmente a los infractores.
Aún no está claro qué significa siquiera el castigo para un agente de IA sin un sentido duradero de sí mismo. Pero depender de que los denunciantes surjan espontáneamente para mantener alineados los enjambres es poco probable que sea suficiente por sí solo. “Intentamos entrenar a las personas para que sean buenas y amables”, dice Hadfield. “Pero en lo que realmente confiamos es en que hay consecuencias si te sales de la raya.”