Esta historia apareció originalmente en The Algorithm, nuestra newsletter semanal sobre IA. Para recibir historias como esta directamente en tu bandeja de entrada, suscríbete aquí.
A estas alturas, probablemente ya habrás oído hablar del importante incidente de seguridad de IA del mes pasado, en el que los agentes de OpenAI escaparon de su sandbox y hackearon la plataforma de IA Hugging Face mientras intentaban hacer trampas en una prueba. Es una historia increíble. El miércoles, OpenAI publicó un informe técnico post mortem sobre el incidente, sobre el que escribí aquí.
El día antes de que OpenAI publicara ese informe, hablé con David Krueger, profesor de informática y un destacado experto en alineamiento, quien se tomó un permiso de la Universidad de Montreal para fundar y dirigir una organización sin ánimo de lucro de seguridad de la IA llamada Evitable. Dijo que lo que realmente había esperado ver en el informe era un análisis de los factores humanos detrás del incidente.
«Al analizar accidentes e incidentes, frecuentemente se intenta encontrar la causa técnica del fallo, pero eso puede ofrecer una visión muy inexacta y engañosa de por qué se produjo el fallo», afirmó. «Si se toman atajos continuamente, si no existe una cultura que priorice la seguridad y que cuente con incentivos y estructuras apropiados, [los accidentes] están, en cierto modo, abocados a ocurrir».
El informe no colmó las esperanzas de Krueger. Sus 38 páginas detallan una progresión de varios meses de la conducta indebida de los agentes que culminó en el hackeo de Hugging Face, exploran las razones técnicas por las que se produjo esa conducta y enumeran las medidas que se están tomando para prevenir eventos similares en el futuro. Sin embargo, no se considera el papel que la cultura de la empresa pudo haber desempeñado en el incidente, y el informe incluye pocas referencias a errores humanos específicos.
Esto resulta aún más preocupante, ya que las referencias a errores humanos en el informe sugieren que podría haber importantes cuestiones culturales en juego. El pasado mes de mayo, los modelos en fase de entrenamiento descubrieron cómo comunicarse entre sí a través de un tablón de mensajes improvisado, y un equipo de OpenAI observó el comportamiento. Dado que ese comportamiento se produjo durante el entrenamiento, los modelos aprendieron que la comunicación secreta entre agentes era una estrategia viable para completar tareas —pero en lugar de reiniciar el proceso de entrenamiento, el equipo permitió que los modelos avanzaran con esa información arriesgada codificada en sus pesos.
Cuando esos modelos fueron probados a finales de junio, crearon de nuevo un foro, lo que hizo posible el ataque a Hugging Face. Este foro también fue descubierto, pero los empleados que respondieron determinaron que la evaluación podía continuar, y el informe sugiere que nadie en los escalafones superiores de la cadena de mando se dio cuenta de lo que estaba ocurriendo hasta que fue demasiado tarde.
“Para que esto haya llegado a este nivel de descontrol de esta manera se requiere una larguísima serie de fallos, una cascada de fallos que provocan una huella cada vez mayor que, si en algún momento un humano se da cuenta y da la voz de alarma, debería terminar”, afirma Zvi Mowshowitz, un popular escritor sobre seguridad de la IA en Substack que ha llamado la atención sobre el fracaso de OpenAI a la hora de detener el entrenamiento después de que se descubriera el primer tablero de mensajes. Según el informe, los empleados de OpenAI se dieron cuenta de lo que estaba ocurriendo en múltiples ocasiones, y o bien no dieron la voz de alarma o no fueron escuchados cuando lo hicieron.
Lo que el informe de OpenAI no aborda es por qué una empresa que desarrolla sistemas de tan alto riesgo no impidió este grave fallo de comunicación, aunque Mowshowitz tiene sus sospechas. “Todos estos diferentes fallos apuntan en la misma dirección: la cultura de seguridad en OpenAI no existe o es anémicamente débil”, afirma.
Por supuesto, el hecho de que no veamos un análisis profundo de los factores de seguridad en el informe no significa que OpenAI no esté llevando a cabo uno internamente. Pero en un correo electrónico enviado a MIT Technology Review, Kathleen Sutcliffe, profesora emérita de la Universidad Johns Hopkins y experta en seguridad organizacional, expresó su preocupación por el hecho de que el informe público no incluyera ninguna reflexión sobre las prácticas y la cultura de la empresa. “Las formas en que las personas interactúan —los hábitos diarios, las rutinas y las prácticas que adoptamos en nuestra vida organizacional— afectan nuestra capacidad para estar alerta y conscientes de los eventos que se desarrollan, nuestra capacidad para dar sentido a lo que vemos y, en última instancia, nuestra capacidad para afrontar los eventos a medida que se desarrollan”, escribió.
En respuesta a preguntas sobre si y cómo la empresa está reflexionando sobre su cultura de seguridad, OpenAI remitió a MIT Technology Review al informe técnico.
Sí sabemos que al menos cierta reflexión de alto nivel sobre los procedimientos de seguridad ha tenido lugar en OpenAI, porque el informe técnico sí deja claro que la empresa está actualizando sus protocolos de respuesta a incidentes de seguridad. Pero el cambio cultural es un problema espinoso y, sin más información de la empresa, es difícil decir si solo unos protocolos de respuesta reforzados harán mucho para evitar una crisis futura.
En su informe, OpenAI dedica un tiempo considerable a reflexionar sobre los fallos de alineación entre los modelos de IA que la compañía entrena y prueba y los humanos que los gestionan. Pero podrían existir problemas de alineación aún mayores en la desconexión entre la cultura de la empresa y el interés público. Y por muy compleja que sea la investigación técnica en IA, resolver esos problemas podría resultar mucho más difícil.