Más de 2.400 investigadores de inteligencia artificial (IA) han firmado recientemente un acuerdo  comprometiéndose a no fabricar los llamados sistemas de armas autónomas que decidirían por sí mismos a quién matar. El acuerdo llega después de la decisión de Google de no renovar el contrato para suministrar IA al Pentágono para el análisis de imágenes de drones, ya que muchos empleados de la compañía se negaban a trabajar en este proyecto, conocido como Maven, y estaban presionando a Google para que no saliera adelante.

El autor de Army of None: Autonomous Weapons and the Future of War, un nuevo libro sobre armas autónomas, Paul Scharre, cree que los investigadores de IA deben hacer algo más que excluirse si quieren provocar un cambio.

Soldado del ejército de Estados Unidos en Irak y Afganistán y ahora alto miembro del Centro para una Nueva Seguridad Estadounidense, Scharre sostiene que los expertos en inteligencia artificial deben interactuar con los responsables políticos y con los profesionales militares para explicar cuáles son las preocupaciones de los investigadores ​​y para ayudarles a comprender las limitaciones de los sistemas de inteligencia artificial.

Scharre habló con el editor jefe de MIT Technology Review, Will Knight, sobre la mejor manera de parar esta potencialmente peligrosa carrera armamentista con IA.

¿Está muy interesado el ejército de los EE. UU. en desarrollar armas con IA?

Los dirigentes de defensa de los EE. UU. han declarado en repetidas ocasiones que su intención es mantener a un ser humano como responsable de las decisiones de fuerza letal. No obstante, también han reconocido que, si otros países construyen armas autónomas, entonces ellos pueden verse obligados a seguir su ejemplo. Y ese es el verdadero riesgo: si un país cruza esta línea, es posible que otros piensen que tienen que responder de la misma manera únicamente para seguir siendo competitivos.

Foto: Paul Scharre.

¿Son fiables estas promesas?

Creo que los altos funcionarios de defensa de los EE. UU. son sinceros y quieren que los humanos sigan siendo los responsables del uso de la fuerza letal. Por supuesto que los profesionales militares no desean que sus armas tangan el control. Dicho esto, sigue siendo una cuestión abierta la forma de traducir un concepto amplio como la responsabilidad humana sobre la fuerza letal en una guía de ingeniería específica sobre qué tipos de armas están permitidas. Ya se está discutiendo la definición de lo que significa un "arma autónoma", así que puede haber diferentes puntos de vista sobre cómo poner esos principios en práctica.

¿Por qué los tecnólogos deben estar involucrados en el debate sobre la IA?

Los investigadores de IA deben ser parte de estas conversaciones, ya que su experiencia técnica es vital para dar forma a las decisiones políticas. Debemos tener en cuenta las tendencias de la IA, la transparencia, la explicación, la seguridad y otras preocupaciones. Actualmente, la tecnología IA tiene estas dos características: es potente, pero también tiene muchas vulnerabilidades, igual que los ordenadores o los riesgos cibernéticos. Desafortunadamente, los gobiernos parecen haber recibido la primera parte de ese mensaje (la IA es poderosa), pero no la segunda (viene con riesgos). Los investigadores de inteligencia artificial pueden ayudar a los gobiernos y a los ejércitos a comprender mejor por qué están tan preocupados por las consecuencias de militarizar esta tecnología. Para argumentar este caso con eficacia, los investigadores de IA deben ser parte de un diálogo constructivo.

"Sería más impactante tener más investigadores de inteligencia artificial asistiendo a las reuniones de la ONU y ayudando a los legisladores"

¿Qué opina sobre el reciente acuerdo contra las armas autónomas, organizado por el Future of Life Institute?

No es la primera llamada a la acción por parte de los científicos de IA. Se basa en cartas abiertas anteriores sobre armas autónomas en 2015 y 2017. Pero estas cartas son un gesto simbólico y probablemente no han sido muy eficaces. También han estado discutiendo sobre armas autónomas los países en las Naciones Unidas desde 2014, y la presión de los científicos de IA añade una dimensión importante a la conversación, pero aún no ha influido en las principales potencias militares para apoyar una prohibición generalizada. Sería más impactante tener más investigadores de inteligencia artificial asistiendo a las reuniones de la ONU y ayudando a los legisladores a entender por qué los científicos de IA están tan preocupados.

¿Qué piensa sobre la decisión de Google de no renovar su contrato con el Pentágono?

Fue un poco sorprendente porque Maven en realidad no incluía armas autónomas y parecía cumplir con los principios de IA recientemente publicados por Google. Pero la competencia por el mejor talento de IA es feroz, y creo que Google no podía arriesgarse a que algunos de sus mejores ingenieros renunciasen en señal de protesta.

¿Cree usted que esos gestos harán más lento el desarrollo de armas autónomas?

En el caso de Maven, Google no participó ni siquiera en la construcción de armas controladas por humanos, ni mucho menos de armas autónomas, por lo que no existe una conexión directa. El acuerdo firmado recientemente se refiere directamente a las armas autónomas, por supuesto. Pero no creo que nada de eso tenga un efecto importante sobre cómo los militares incorporan la inteligencia artificial y la autonomía en sus armas, ya que es probable que las armas las construyan los contratistas de defensa. Si las principales compañías tecnológicas como Google optasen por no trabajar con ejércitos, eso podría hacer más lenta la incorporación de la tecnología de IA en funciones vitales de soporte, como análisis de datos, que Maven estaba haciendo. Pero finalmente otras compañías intervendrán para llenar el vacío. Ya hemos visto a otras compañías decir públicamente que quieren trabajar con los militares.

¿Podrían estos esfuerzos tener consecuencias involuntarias también?

El hecho de tachar muchos usos legítimos de la IA como inaceptables podría abrir una brecha entre la comunidad técnica y la política y dificultar un discurso razonable. Los ingenieros deben abstenerse de trabajar en proyectos que no pueden apoyar, pero cuando esas motivaciones personales pasan a presionar a otros para que no trabajen en aplicaciones de seguridad nacional importantes y legítimas, es algo que perjudica la seguridad pública y afecta a los derechos de otros ingenieros a tener su propia conciencia. Los países democráticos tendrán que utilizar la tecnología IA para una variedad de fines de seguridad nacional importantes y legales: inteligencia, contraterrorismo, seguridad fronteriza, seguridad cibernética y defensa.

¿Existe una carrera armamentista entre EE. UU. y China?

China ha declarado públicamente su intención en convertirse en el líder mundial en inteligencia artificial antes del año 2030 y está aumentando su investigación y reclutando a los mejores talentos de todo el mundo. El modelo chino de fusión militar-civil también significa que la investigación en inteligencia artificial fluirá fácilmente de las empresas tecnológicas al ejército sin ese tipo de barreras que algunos empleados de Google pretenden levantar en los Estados Unidos. China ya ha comenzado a sentar las bases de un estado de vigilancia tecnológica habilitado por IA.

"Los países democráticos tendrán que utilizar la tecnología IA para una variedad de fines de seguridad nacional importantes y legales"

Si las tácticas de los investigadores de IA solo logran hacer más lenta la adopción de herramientas de IA en sociedades abiertas y democráticas que valoran el comportamiento ético, su trabajo podría ayudar al comienzo de un futuro donde la tecnología más poderosa esté en manos de regímenes a los que no les importa para nada la ética y el estado de derecho.

En su libro, usted señala que definir la autonomía puede ser complicado. ¿No complica esto la discusión sobre los usos militares de la IA?

Los autores del reciente acuerdo contra las armas autónomas se oponen a las que pudieran matar a una persona, pero reconocen que serían necesarios algunos tipos de sistemas autónomos para defenderse de otras armas parecidas. Se trata del área gris donde la autonomía podría ser necesaria para defenderse contra el armamento y donde una persona aún está al mando, como en el caso de dirigir un avión de combate o un submarino, y ahí reside el verdadero desafío. Equilibrar los objetivos que compiten entre ellos no es simple, y los responsables políticos se enfrentarán a duras decisiones cuando adopten esta tecnología.

Los ingenieros de IA influirían más en la toma de estas decisiones si participan en un diálogo constructivo y continuo con los responsables políticos, en lugar de optar por no hacerlo. Los investigadores de IA que se preocupan por el modo en que se usa la tecnología serían más eficaces si fueran más allá de las campañas de presión y comenzaran a ayudar a educar a los políticos sobre la actual tecnología IA y sobre sus limitaciones.