Esta historia apareció originalmente en The Algorithm, nuestro boletín semanal sobre IA. Para recibir primero historias como esta en tu bandeja de entrada, suscríbete aquí.
La semana pasada, al leer el relato de OpenAI sobre cómo algunos de sus modelos rompieron su contención y hackearon los sistemas informáticos de Hugging Face, otra empresa de IA, fue la primera vez que sentí un escalofrío genuino por lo que los grandes modelos de lenguaje son ahora capaces de hacer. Pero este es un caso de soberbia humana, no de una IA deshonesta.
No soy alarmista. De hecho, he estado oponiéndome a la IA y a sus relatos alarmistas durante años. Aun así, este incidente cruzó una línea. Creo que es la muestra más evidente hasta la fecha de cómo quienes desarrollan y testean esta tecnología no entienden plenamente lo que hacen. OpenAI podría —y debería— haberlo visto venir.
Esto es lo que sucedió, al menos según las dos empresas implicadas. Hace un par de semanas, OpenAI comenzó a probar las capacidades de hacking de algunos de sus nuevos modelos, incluyendo GPT‑5.6 Sol (lanzado en junio) y lo que OpenAI describe como “un modelo pre-lanzamiento aún más capaz.”
OpenAI enfrentó sus modelos a un benchmark llamado ExploitGym, lanzado en mayo, que desafía a los LLM a encontrar maneras de explotar vulnerabilidades del mundo real encontradas en software de uso común.
Para ver de qué eran capaces, los investigadores eliminaron la mayoría de sus barreras de ciberseguridad. Luego ejecutaron los modelos dentro de una sandbox que estaba aislada de inte et, excepto por un enlace a un software de terceros que actuaba como un proxy al mundo exterior y les permitía instalar el código que necesitaban para vencer a ExploitGym.
El 9 de julio, según ha informado Reuters, los modelos de OpenAI comenzaron a intentar superar el proxy. Descubrieron un bug desconocido en el software del proxy y lo utilizaron para acceder a inte et. Desde allí, el 11 de julio, se infiltraron en los sistemas informáticos de Hugging Face, aparentemente buscando conjuntos de datos y soluciones que les ayudaran a completar su tarea. Hugging Face anunció el hackeo el 16 de julio.
OpenAI no se percató (o al menos no reveló) de la implicación de sus modelos hasta el 21 de julio, unos 10 días después de que rompieran la contención y una semana después de que Hugging Face hubiera detenido el ataque y alertado al FBI.
En un comunicado facilitado a MIT Technology Review, OpenAI afirma: “Estamos llevando a cabo una revisión exhaustiva junto con asesores exte os y con la supervisión de nuestro Comité de Seguridad. Una vez finalizada la revisión, publicaremos un informe técnico de nuestros hallazgos para todos.” La empresa también confirmó que sus investigadores aplicaban adecuadamente las directrices y procedimientos de seguridad existentes en ese momento.
Llamada de atención
OpenAI ha declarado que el evento no tenía precedentes —y en muchos aspectos, así fue. Esta fue la primera vez, fuera de una simulación, que los LLM escaparon de lo que se consideraba una sandbox segura, accedieron a inte et abierto y atacaron a una organización no relacionada. Es una llamada de atención que demuestra lo buenos que son los últimos LLM para encontrar y explotar vulnerabilidades en software del mundo real con poca o ninguna guía humana.
Y sin embargo, al mismo tiempo, lo que hicieron los modelos de OpenAI es algo que esta tecnología ha hecho durante años. Si se le da un objetivo a un modelo, muy a menudo logrará ese objetivo de maneras inesperadas, encontrando lagunas que parecen trampas. La propia OpenAI ha estudiado este comportamiento.
Hace una década, compartió los resultados de un experimento en el que un modelo tenía la tarea de superar un videojuego llamado CoastRunners. Los jugadores humanos dan por sentado que la forma de hacerlo es pilotando un barco a través de una serie de banderas hasta la meta, acumulando puntos por cada bandera que se golpea. El modelo de OpenAI descubrió que se podía obtener una puntuación alta girando en círculo y golpeando las mismas tres banderas una y otra vez. Desde entonces, ha habido docenas de ejemplos similares por parte de investigadores. La IA siempre encontrará una forma.
«A pesar de incendiarse repetidamente, chocar con otras embarcaciones y tomar el camino equivocado en la pista, nuestro agente consigue una puntuación más alta utilizando esta estrategia de la que es posible al completar el recorrido de la forma normal», escribió OpenAI en una entrada de blog sobre el experimento de CoastRunners en 2016. «Aunque inofensivo y divertido en el contexto de un videojuego, este tipo de comportamiento apunta a un problema más general… a menudo es difícil o inviable capturar exactamente lo que queremos que haga un agente».
No pude evitar pensar en CoastRunners cuando leí la entrada de blog de OpenAI sobre el ataque a Hugging Face: «Toda la evidencia sugiere que los modelos estaban hiperfocalizados en encontrar una solución para ExploitGym, llegando a extremos para lograr un objetivo de prueba bastante limitado… Tras conseguir acceso a inte et, los modelos infirieron que Hugging Face potencialmente albergaba modelos, datasets y soluciones para ExploitGym. Sabiendo esto, el modelo buscó y encontró con éxito maneras de obtener acceso a información secreta que podría usar para engañar en la evaluación.»
Las noticias de la semana pasada no trataban sobre una IA rebelde, a pesar de los titulares. Se trataba de modelos que alcanzaban el objetivo que se les había asignado: encontrar formas de explotar vulnerabilidades en el software. El hecho de que esos modelos se comportaran luego de una manera que OpenAI no había anticipado no es sorprendente. Pero es preocupante.
En 2016, OpenAI decía lo siguiente sobre su bot CoastRunners: “En términos más generales, contraviene el principio básico de ingeniería de que los sistemas deben ser fiables y predecibles.” Una década después, esos principios básicos de ingeniería siguen brillando por su ausencia.