Estos sistemas de detección están diseñados para impedir que se compren secuencias genéticas que podrían utilizarse para crear toxinas o patógenos mortales. Pero ahora, los investigadores dirigidos por el científico jefe de Microsoft, Eric Horvitz, afirman haber descubierto cómo eludir las protecciones de una forma hasta ahora desconocida para los defensores.
El equipo ha descrito hoy su trabajo en la revista Science.
Horvitz y su equipo se centraron en algoritmos de IA generativa que proponen nuevas formas de proteínas. Este tipo de programas ya están impulsando la búsqueda de nuevos fármacos en empresas emergentes bien financiadas como Generate Biomedicines e Isomorphic Labs, una escisión de Google.
El problema es que estos sistemas son potencialmente de “doble uso”. Pueden utilizar sus conjuntos de entrenamiento para generar tanto moléculas beneficiosas como perjudiciales.
Microsoft afirma que en 2023 comenzó una prueba de “equipo rojo” sobre el potencial de doble uso de la IA con el fin de determinar si el “diseño de proteínas de IA adversaria” podría ayudar a los bioterroristas a fabricar proteínas dañinas.
La salvaguarda que atacó Microsoft es lo que se conoce como software de detección de bioseguridad. Para fabricar una proteína, los investigadores suelen tener que pedir la secuencia de ADN correspondiente a un proveedor comercial, que luego pueden instalar en una célula. Estos proveedores utilizan software de detección para comparar los pedidos entrantes con toxinas o patógenos conocidos. Una coincidencia cercana activará una alerta.
Para diseñar su ataque, Microsoft utilizó varios modelos de proteínas generativas (incluido el suyo propio, llamado EvoDiff) para rediseñar toxinas, cambiando su estructura de manera que pudieran eludir el software de detección, pero manteniendo intacta su función letal.
Los investigadores afirman que el ejercicio fue totalmente digital y que nunca produjeron proteínas tóxicas. El objetivo era evitar cualquier percepción de que la empresa estuviera desarrollando armas biológicas.
Antes de publicar los resultados, Microsoft afirma que alertó al Gobie o de EE. UU. y a los fabricantes de software, que ya han parcheado sus sistemas, aunque algunas moléculas diseñadas por IA aún pueden escapar a la detección.
“El parche es incompleto y la tecnología más avanzada está cambiando. Pero esto no es algo que se haga una sola vez. Es el comienzo de aún más pruebas”, afirma Adam Clore, director de I+D tecnológico de Integrated DNA Technologies, un gran fabricante de ADN y coautor del informe de Microsoft. “Estamos en una especie de carrera armamentística”.
Para asegurarse de que nadie haga un uso indebido de la investigación, los investigadores afirman que no revelarán parte de su código y no han revelado qué proteínas tóxicas pidieron a la IA que rediseñara. Sin embargo, algunas proteínas peligrosas son bien conocidas, como la ricina, un veneno que se encuentra en las semillas de ricino, y los priones infecciosos que causan la enfermedad de las vacas locas.
“Este hallazgo, junto con los rápidos avances en el modelado biológico basado en la IA, demuestra la clara y urgente necesidad de mejorar los procedimientos de control de la síntesis de ácidos nucleicos, junto con un mecanismo fiable de aplicación y verificación”, afirma Dean Ball, miembro de la Fundación para la Innovación Americana, un grupo de expertos de San Francisco.
Ball señala que el Gobie o de Estados Unidos ya considera que la detección de pedidos de ADN es una línea clave de seguridad. El pasado mes de mayo, en una orden ejecutiva sobre la seguridad de la investigación biológica, el presidente Trump pidió una reforma general de ese sistema, aunque hasta ahora la Casa Blanca no ha publicado nuevas recomendaciones.
Otros dudan de que la síntesis comercial de ADN sea la mejor defensa contra los malos actores. Michael Cohen, investigador de seguridad de la IA en la Universidad de Califo ia, Berkeley, cree que siempre habrá formas de disfrazar las secuencias y que Microsoft podría haber endurecido su prueba.
“El reto parece débil y sus herramientas parcheadas fallan mucho”, afirma Cohen. “Parece que no se quiere admitir que, en algún momento próximo, tendremos que retira os de este supuesto punto de estrangulamiento, por lo que deberíamos empezar a buscar un terreno que realmente podamos defender”.
Cohen afirma que la bioseguridad probablemente debería integrarse en los propios sistemas de IA, ya sea directamente o mediante controles sobre la información que proporcionan.
Sin embargo, Clore afirma que la supervisión de la síntesis de genes sigue siendo un enfoque práctico para detectar amenazas biológicas, ya que la fabricación de ADN en Estados Unidos está dominada por unas pocas empresas que colaboran estrechamente con el Gobie o. Por el contrario, la tecnología utilizada para crear y entrenar modelos de IA está más extendida. “No se puede volver a meter al genio en la lámpara”, afirma Clore. “Si tienes los recursos para intentar engaña os para que creemos una secuencia de ADN, probablemente puedas entrenar un modelo de lenguaje grande”.