En esta conversación, Helen Warrell, reportera de investigación en FT y exeditora de defensa y seguridad, y James O’Donnell, periodista sénior de IA en MIT Technology Review, analizan los dilemas éticos y los incentivos económicos en to o al uso militar de la inteligencia artificial.
Helen Warrell, reportera de investigación en FT:
Es julio de 2027 y China está a punto de invadir Taiwán. Drones autónomos con sistemas de puntería basados en IA se preparan para neutralizar las defensas aéreas de la isla, mientras una serie de ciberataques masivos generados por IA corta el suministro energético y las comunicaciones clave. Al mismo tiempo, una campaña de desinformación impulsada por una granja de memes prochina se extiende por las redes sociales globales, apagando la indignación ante el acto de agresión de Pekín.
Escenarios como este han llevado el horror distópico al debate sobre el uso de IA en la guerra. Los mandos militares sueñan con fuerzas digitalmente mejoradas, más rápidas y precisas que el combate dirigido por humanos. Pero crece el temor de que, a medida que la IA asuma un papel central, esos mismos mandos pierdan el control de conflictos que escalen demasiado rápido y sin supervisión ética ni legal. Henry Kissinger, exsecretario de Estado de EE UU, dedicó sus últimos años a advertir sobre la catástrofe que supondría una guerra impulsada por IA.
Comprender y mitigar estos riesgos es la prioridad militar (algunos lo llaman el “momento Oppenheimer”) de nuestra era. En Occidente surge un consenso: las decisiones sobre el uso de armas nucleares no deben delegarse en IA. El secretario general de la ONU, António Guterres, ha ido más allá al pedir la prohibición total de los sistemas letales completamente autónomos. Es esencial que la regulación avance al mismo ritmo que la tecnología. Pero, entre la emoción alimentada por la ciencia ficción, es fácil perder de vista lo que realmente es posible. Como señalan investigadores del Belfer Center de Harvard, los optimistas de la IA suelen subestimar los retos de desplegar sistemas de armas totalmente autónomos. Es muy probable que se esté exagerando la capacidad real de la IA en combate.
Anthony King, director del Strategy and Security Institute en la Universidad de Exeter y uno de los principales defensores de esta idea, sostiene que, más que sustituir a los humanos, la IA se usará para mejorar la inteligencia militar. Aunque la naturaleza de la guerra esté cambiando y la tecnología remota perfeccione los sistemas de armas, insiste: “La automatización completa de la guerra es simplemente una ilusión”.
De los tres usos militares actuales de la IA, ninguno implica autonomía total. Se desarrolla para planificación y logística, guerra cibe ética (en sabotaje, espionaje, hacking y operaciones de información) y, de forma más controvertida, para la puntería de armas, una aplicación ya presente en los campos de batalla de Ucrania y Gaza. Las tropas de Kiev emplean software de IA para dirigir drones que esquivan interferencias rusas mientras se aproximan a objetivos sensibles. Las Fuerzas de Defensa de Israel han creado un sistema de apoyo a la decisión asistido por IA llamado Lavender, que ha ayudado a identificar unos 37.000 posibles objetivos humanos en Gaza.
Existe el riesgo evidente de que la base de datos de Lavender reproduzca los sesgos de los datos con los que se entrena. Pero el personal militar también tiene sesgos. Un oficial de inteligencia israelí que utilizó Lavender afirmó confiar más en la equidad de un “mecanismo estadístico” que en la de un soldado afectado por el duelo.
Los optimistas tecnológicos que diseñan armas con IA incluso niegan que se necesiten controles nuevos para limitar sus capacidades. Keith Dear, exoficial militar británico y hoy director de la empresa de predicción estratégica Cassi AI, asegura que las leyes existentes son más que suficientes: “Te aseguras de que no haya nada en los datos de entrenamiento que pueda hacer que el sistema se descontrole… cuando tienes confianza, lo despliegas, y tú, el comandante humano, eres responsable de cualquier error que cometa”.
Es interesante pensar que parte del miedo y la sorpresa ante el uso de IA en la guerra provenga de quienes desconocen las normas militares, brutales pero realistas. ¿Qué opinas, James? ¿Es posible que cierta oposición a la IA en la guerra no se refiera tanto a los sistemas autónomos y sea, en realidad, un argumento contra la guerra misma?
James O’Donnell responde:
Hola, Helen:
Algo que he notado es el cambio drástico en la actitud de las empresas de IA respecto a las aplicaciones militares de sus productos. A comienzos de 2024, OpenAI prohibía sin ambigüedades el uso de sus herramientas en la guerra, pero a finales de año firmó un acuerdo con Anduril para ayudar a derribar drones en el campo de batalla.
Este paso (no es un arma totalmente autónoma, desde luego, pero sí una aplicación bélica de IA) marcó un cambio radical en la disposición de las tecnológicas a vincularse públicamente con la defensa.
¿Qué ocurrió por el camino? Por un lado, el hype. Se nos dice que la IA no solo traerá superinteligencia y descubrimientos científicos, sino que hará la guerra más precisa, calculada y menos propensa a errores humanos. Hablé, por ejemplo, con marines estadounidenses que probaron un tipo de IA mientras patrullaban el Pacífico Sur, anunciada como capaz de analizar inteligencia extranjera más rápido que un humano.
Por otro lado, el dinero manda. OpenAI y otras necesitan recuperar parte de las cantidades inimaginables que gastan en entrenar y ejecutar estos modelos. Y pocos tienen bolsillos más profundos que el Pentágono. Los responsables de defensa europeos también parecen dispuestos a gastar. Mientras tanto, la inversión de capital riesgo en tecnología militar este año ya ha duplicado el total de 2024, con fondos que esperan beneficiarse de la nueva disposición de los ejércitos a comprar a startups.
Creo que la oposición a la IA bélica se divide en varios grupos, uno de los cuales rechaza la idea de que una puntería más precisa (si realmente lo es) implique menos víctimas, en lugar de más guerra. Pensemos en la primera era de la guerra con drones en Afganistán. A medida que los ataques con drones se abarataron, ¿podemos decir que redujeron la ca icería? ¿O simplemente permitieron más destrucción por dólar invertido?
El segundo grupo de críticas (y ahora respondo a tu pregunta) procede de personas que conocen bien la realidad de la guerra, pero tienen objeciones concretas sobre las limitaciones fundamentales de la tecnología. Missy Cummings, por ejemplo, ex piloto de combate de la Marina de EE UU y hoy profesora de ingeniería y ciencias de la computación en la Universidad George Mason, ha sido muy clara en su opinión de que los modelos de lenguaje, en particular, son propensos a cometer errores graves en ento os militares.
La respuesta habitual a esta objeción es que las salidas de la IA son revisadas por humanos. Pero si un modelo se basa en miles de entradas para llegar a una conclusión, ¿puede una sola persona comprobar realmente esa conclusión?
Las empresas tecnológicas están haciendo promesas extraordinarias sobre lo que la IA puede lograr en aplicaciones de alto riesgo, mientras la presión por implementarlas es máxima. Para mí, esto significa que es momento de más escepticismo, no menos.
Helen responde:
Hola, James:
Debemos seguir cuestionando la seguridad de los sistemas de IA aplicados a la guerra y la supervisión a la que están sometidos, además de exigir responsabilidades a los líderes políticos en este ámbito. Pero también propongo aplicar cierto escepticismo a lo que describes acertadamente como las “promesas extraordinarias” que algunas compañías hacen sobre lo que la IA podría conseguir en el campo de batalla. Lo que se ofrece al sector militar por parte de un ecosistema de tecnología defensiva aún incipiente (aunque en auge) traerá tanto oportunidades como riesgos. El peligro es que, en la velocidad y el secretismo de una carrera armamentística basada en IA, estas capacidades emergentes no reciban el escrutinio y el debate que necesitan con urgencia.
Lecturas recomendadas:
Michael C. Horowitz, director de Perry World House en la Universidad de Pensilvania, explica en este artículo de FT la necesidad de responsabilidad en el desarrollo de sistemas militares de IA.
El pódcast tecnológico de FT analiza qué puede enseña os el ecosistema de defensa israelí sobre el futuro de la guerra.
Esta investigación de MIT Technology Review examina cómo OpenAI completó su giro hacia permitir el uso de su tecnología en el campo de batalla.
MIT Technology Review también reveló cómo soldados estadounidenses están utilizando IA generativa para revisar miles de piezas de inteligencia de código abierto.