En el futuro, los agentes de inteligencia y el personal militar podrían llegar a tener una dependencia muy fuerte del aprendizaje automático para analizar enormes cantidades de datos y para controlar el creciente arsenal de sistemas autónomos. Pero el ejército de Estados Unidos quiere asegurarse de no depositar una confianza ciega en los algoritmos.
La Agencia de Proyectos de Investigación Avanzados de Defensa (DARPA, por sus siglas en inglés), una división del Departamento de Defensa de EEUU que explora nuevas tecnologías, está financiando varios proyectos que intentan que la inteligencia artificial (IA) rinda cuentas de lo que hace. Los enfoques varían desde añadir sistemas adicionales de aprendizaje automático diseñados para proporcionar explicaciones hasta el desarrollo de nuevos enfoques de aprendizaje automático que incluyen explicaciones por defecto.
El gestor de programa de DARPA David Gunning, que está financiando uno de los proyectos para desarrollar técnicas de IA que incluyan alguna explicación de su razonamiento, detalla: "Ahora estamos viviendo una explosión real de la inteligencia artificial, que se ha originado gracias al aprendizaje automático y al aprendizaje profundo en particular".
El aprendizaje profundo y otras técnicas de aprendizaje automático han asaltado Silicon Valley (EEUU). Estos enfoques han conseguido mejorar el reconocimiento de voz y la clasificación de imágenes significativamente, y están siendo empleados en cada vez más contextos, como la seguridad y la medicina, donde los errores pueden tener consecuencias fatales. Y aunque el aprendizaje automático funciona muy bien a la hora de definir patrones, puede resultar imposible entender cómo ha llegado a una conclusión. El proceso es matemáticamente muy complejo y a menudo no existe ninguna manera de traducirlo en términos que una persona pueda entender.
El aprendizaje profundo tal vez sea difícil de interpretar, pero técnicas de aprendizaje automático también pueden resultar desafiantes. "Son modelos muy opacos y difíciles de interpretar para las personas, especialmente si no son expertos en inteligencia artificial", señala Gunning.
El aprendizaje profundo resulta especialmente críptico debido a su increíble complejidad. El proceso intenta imitar la forma en la que las neuronas aprenden a partir de las informaciones que reciben. Muchas capas de neuronas y sinapsis simuladas reciben datos etiquetados y su comportamiento va mejorando hasta que logra reconocer, por ejemplo, un gato dentro de una imagen. Pero el modelo de aprendizaje en el que se basa el sistema está codificado en millones de neuronas y, por tanto, resulta muy complicado de examinar. Cuando una red de aprendizaje profundo reconoce un gato, por ejemplo, no está claro si lo ha identificado por sus bigotes, sus orejas o por los juguetes del propio gato que aparecen en la imagen.
En muchos casos debería dar igual no entender al sistema, siempre y cuando sus resultados sean correctos. Pero un agente de inteligencia que intenta identificar a un sospechoso en potencia debería estar obligado a explicar su razonamiento. "Existen algunas aplicaciones críticas para las que se necesita una justificación", explica Gunning.
Añade que el ejército está desarrollando un gran número sistemas autónomos que dependerán mucho de técnicas como el aprendizaje profundo. Los vehículos autónomos y los drones aéreos cada vez serán más usados y hábiles en los próximos años.
La capacidad de explicarse no sólo es necesaria para justificar las decisiones. También puede ayudar a impedir que las cosas salgan mal. Un sistema de clasificación de imágenes que sólo clasifique gatos en función de la textura podría ser engañado por una alfombra de pelo largo. Pero si el sistema explica cómo funciona, los investigadores podrían usar esa información para crear versiones más robustas e impedir que la gente que dependa de ellos cometa errores.
DARPA está financiando a 13 grupos distintos de investigación centrados en distintos enfoques para que la inteligencia artificial esté más justificada.
Uno de los equipos que recibirá fondos es el de Charles River Analytics, una empresa que desarrolla herramientas altamente tecnológicas para varios clientes, incluido el ejército de EEUU. Este equipo está explorando nuevos sistemas de aprendizaje profundo que incorporan una explicación, como señalar las áreas de una imagen que han resultado más relevantes para una clasificación. Los investigadores también están experimentando con interfaces informáticas que ayudan a ver más claramente cómo funcionan los sistemas de aprendizaje automático. Para ello están utilizando datos, visualizaciones y hasta explicaciones en lenguaje natural.
El profesor de la Universidad Tejas A&M (EEUU) Xia Hu, que lidera otro de los equipos que recibirá financiación, dice que el problema también es importante para otras áreas como la medicina, el derecho y la educación. Si no hay ningún razonamiento, "los expertos no se fiarán de los resultados. Ese es el principal motivo por el que muchos expertos se niegan a adoptar el aprendizaje automático o el aprendizaje profundo", concluye el experto.