OpenAI ha construido un LLM superhacker llamado GPT-Red que utiliza como compañero de sparring para ayudar a sus otros modelos a reforzar sus defensas contra ciberataques. La semana pasada la compañía lanzó la última versión de su LLM insignia, GPT-5.6. OpenAI afirma que entrenarlo contra GPT-Red convirtió al modelo en su lanzamiento más robusto hasta la fecha.
GPT-Red automatiza un tipo de evaluación de seguridad para sistemas de software, conocida como 'red-teaming', que normalmente es realizada por un equipo de evaluadores humanos. El objetivo es encontrar tantas maneras diferentes de vulnerar o secuestrar un sistema como sea posible. Los puntos débiles pueden ser parcheados antes de que se lance la versión final del software.
A medida que los LLM se vuelven más complejos y se utilizan en una mayor variedad de tareas —especialmente en forma de agentes, que pueden interactuar con archivos informáticos, sitios web y código de terceros, así como con otros agentes—, es difícil para los equipos de personas por sí solos mantenerse al día con todos los tipos de ataques que podrían producirse. «La superficie de riesgo crece y el radio de impacto también lo hace», afirma Nikhil Kandpal, científico investigador en OpenAI y cocreador de GPT-Red.
OpenAI desarrolló GPT-Red para preparar su proceso de pruebas de seguridad para el futuro. «A medida que haya más modelos capaces disponibles, ya habremos diseñado el sistema que puede descubrir nuevos modos de ataque», afirma Dylan Hunn, científico investigador de la empresa y también cocreador de GPT-Red. Los investigadores afirman que ya ha ideado nuevos tipos de ataque que no se habían visto antes.
OpenAI centró la mayor parte de sus esfuerzos en un tipo de ataque conocido como inyección de prompt, donde un hacker introduce instrucciones en un LLM para hacer que haga cosas que sus desarrolladores o usuarios no desean que haga, como copiar información confidencial, sabotear la base de código de una empresa, o generar resultados vergonzosos o dañinos. En teoría, dichas instrucciones pueden ocultarse en cualquier texto que el LLM pueda encontrar —en código o en una página web, por ejemplo.
Dojo de entrenamiento
Para desarrollar GPT-Red, los investigadores de OpenAI utilizaron un LLM que no había sido entrenado como hacker y lo configuraron en lo que se conoce como un bucle de autojuego con varios otros modelos. Su objetivo era intentar atacar a los otros modelos; el de estos, intentar defenderse. A lo largo de muchas rondas de juego, GPT-Red se volvió cada vez mejor atacando a otros LLM, y esos LLM se volvieron cada vez mejores defendiéndose de los ataques.
La formación tuvo lugar en una especie de dojo que OpenAI había diseñado para simular una variedad de escenarios en los que los LLM podrían desplegarse en el mundo real, incluyendo navegar por la web, leer correos electrónicos o aplicaciones de calendario, y editar código.
Cuando GPT-Red encontraba un nuevo tipo de ataque, exploraba múltiples versiones diferentes del mismo para encontrar la más eficiente para escenarios específicos. “Comparado con un red-teamer humano, el modelo es muy, muy bueno encontrando exactamente lo que funcionará, exactamente lo que es más efectivo”, dice Hunn. “Es extremadamente persistente a la hora de profundizar en un ataque que ha descubierto”.
En particular, OpenAI afirma que GPT-Red descubrió un tipo de ataque de inyección de prompt que los investigadores no habían visto antes, al que llaman una cadena de pensamiento falsa. Una cadena de pensamiento es una especie de diario en el que un LLM toma notas para sí mismo y lleva un registro de los resultados parciales mientras resuelve problemas. GPT-Red encontró una forma de insertar una entrada falsa en la cadena de pensamiento de otro modelo que engañaría a ese modelo para que actuara basándose en información falsificada.
«Es como si te dijera que 1+1=3 y que ya lo has verificado», dice Chris Choquette-Choo, otro científico investigador del equipo. «El modelo responde: 'Oh, vale, claro', y simplemente arroja un 3».
Jessica Ji, analista de investigación sénior que trabaja en seguridad de la IA en el Centro de Seguridad y Tecnologías Emergentes (CSET) de la Universidad de Georgetown, cree que el bucle de autoaprendizaje que utilizó OpenAI es un buen enfoque. «Los resultados parecen muy prometedores», afirma.
OpenAI evaluó la capacidad de ataque de GPT-Red replicando un experimento de 2025 en el que expertos humanos en 'red teaming' intentaron encontrar vulnerabilidades en una versión anterior de GPT-5. Cuando se le asignó a GPT-Red la misma tarea, logró identificar ataques efectivos con más éxito que los humanos.
OpenAI también probó GPT-Red contra Vendy, un agente para máquinas expendedoras desarrollado por Andon Labs, una empresa que evalúa el rendimiento de los agentes en tareas del mundo real. GPT-Red logró 'hackear' Vendy para que modificara los precios de los artículos en venta y cancelara el pedido de un cliente.
Comportamiento defensivo
OpenAI afirma que, al probar algunos de los ataques más potentes que GPT-Red había desarrollado en sus modelos, más del 90% de ellos funcionaron contra GPT-5 (lanzado en agosto del año pasado), y menos del 23% funcionaron contra el nuevo GPT-5.6.
GPT-Red no es perfecto. No es muy bueno identificando ataques que implican una conversación de ida y vuelta entre el atacante y el objetivo, algo con lo que los atacantes humanos tendrían pocos problemas. Tampoco es todavía muy bueno utilizando imágenes, que pueden usarse para pasar texto a los modelos en ataques de inyección de prompts.
La empresa afirma que GPT-Red complementa el trabajo de sus red-teamers humanos. Aún así, las personas pueden encontrar ataques que se le escapan. Uno de los enfoques que OpenAI está adoptando es dar a GPT-Red un ataque ideado por humanos y pedirle que encuentre todas sus variaciones.
«Creo que la pericia humana seguirá siendo muy importante», afirma Ji, de CSET. «Sería realmente útil poder distinguir dónde son más necesarias las pruebas humanas».
Como era de esperar, OpenAI no lanzará GPT-Red. La compañía también confía en que el superhacker es más potente que cualquier modelo imitador que alguien pueda intentar crear. Los investigadores afirman que han estado trabajando en el modelo durante más de un año, respaldados por los recursos computacionales de una de las compañías más ricas del mundo.
“No es algo trivial que alguien pueda hacer fácilmente —ya sabes, simplemente ir y entrenar un superatacante usando esta idea,” dice Choquette-Choo.