El investigador especializado en la interacción entre los humanos y los inteligencia artificial (IA) del Instituto de Tecnología de Georgia en Atlanta (EE. UU.) Upol Ehsan realizó un viaje de prueba en un coche autónomo de Uber. Para que no se preocuparan por que el asiento del conductor estaba vacío, la compañía recomendaba a los nerviosos pasajeros que miraran una pantalla "tranquilizadora" que mostraba todo lo que veía el coche: peligros detectados marcados en naranja y rojo, y zonas seguras en azul oscuro.

Para Ehsan, el mensaje estaba claro: "No se asusten, el coche hace lo que debe hacer en función de lo que ve". Pero, en lugar de tranquilizar, aquella extraña vista de la carretera resaltaba una peculiaridad de la experiencia. Ehsan pensó: ¿y si el coche autónomo pudiera explicar cada decisión que toma?

El éxito del aprendizaje profundo se debe a su capacidad de adaptación: las mejores redes neuronales se ajustan y adaptan para crear otras mejores, y los resultados prácticos han superado la comprensión teórica. Es casi imposible entender los detalles de cómo funciona un modelo entrenado, lo que ha hecho que lleguen a comprarse con cajas negras.

Muchas veces, como cuando se trata de jugar a Go, traducir textos o elegir el próximo programa de Netflix, este desconocimiento nos parece bien. Pero si queremos usar la IA para ayudar a tomar decisiones en la aplicación de la ley, en los diagnósticos médicos y en los coches autónomos, entonces debemos comprender cómo toma esas decisiones y saber cuándo se equivoca.

La gente necesita el poder de no aceptar o rechazar una decisión automatizada, afirma la científica informática del Williams College en Williamstown (EE. UU.) Iris Howley. Sin esta capacidad, la tecnología será rechazada. "Es posible comprobarlo en la actualidad con la reacción pública sobre los sistemas de reconocimiento facial", destaca.

Ehsan forma parte de un pequeño pero creciente grupo de investigadores que intentan mejorar la inteligencia artificial para que sea capaz de explicarse y ayudarnos a saber qué pasa dentro de la caja negra. El objetivo de la llamada IA interpretable o explicable (XAI, por sus siglas en inglés) consiste ayudar a las personas a comprender qué características de los datos tiene en cuenta una red neuronal, una información que permitiría determinar si el modelo resultante es preciso e imparcial.

Una solución consiste en crear sistemas de aprendizaje automático que muestren su funcionamiento. Este enfoque se conoce como IA glassbox (caja de cristal), y es justo el contrario al de la caja negra. Los modelos glassbox suelen ser versiones muy simplificadas de una red neuronal en las que resulta más fácil rastrear cómo los diferentes datos afectan al modelo.

La científica informática de Microsoft Research Jennifer Wortman Vaughan explica: "En la comunidad, hay personas que abogan por el uso de modelos de cristal en cualquier ámbito de alto riesgo. Y yo estoy de acuerdo". Ante ciertos tipos de datos estructurados, como las tablas de estadísticas, un simple modelo glassbox puede funcionar igual de bien que una red neuronal más complejas. Para algunas aplicaciones, eso es suficiente.

Pero todo depende del caso en cuestión. Si queremos aprender algo a partir de datos desordenados como imágenes o textos, necesitamos redes neuronales profundas y, por lo tanto, opacas. De hecho, su complejidad es precisamente la que le aporta su capacidad para establecer conexiones significativas entre un gran número de características dispares.

Incluso en esos casos, el aprendizaje automático de cristal podría ayudar. Una solución sería repasar los datos dos veces. Primero se entrenaría un modelo imperfecto tipo glassbox como una especie de sistema de depuración para descubrir posibles errores. Con los datos ya depurados, se podría entrenar a un modelo más preciso y complejo tipo caja negra.

No obstante, el equilibrio de este enfoque es muy complicado. Demasiada transparencia generaría a un exceso de información. En un estudio de 2018 que analizó cómo los usuarios no expertos interactúan con las herramientas de aprendizaje automático, Vaughan descubrió que los modelos transparentes complicaban la labor de detectar y corregir sus errores.

Otro enfoque consiste en incluir visualizaciones que muestren algunas de las propiedades principales del modelo y sus datos subyacentes. La idea consiste en detectar los problemas serios de un vistazo. Por ejemplo, un modelo podría centrarse demasiado en ciertas características, lo que indicaría un sesgo.

En su corta vida, estas herramientas de visualización se han vuelto increíblemente populares. Pero, ¿realmente ayudan? En el primer estudio sobre ellas, Vaughan y su equipo han encontrado algunos problemas graves.

El equipo analizó dos populares herramientas de interpretación que ofrecen una visión general del modelo a través de gráficos y diagramas de datos que destacan los elementos más estudiados durante el entrenamiento. Once profesionales de IA de Microsoft, todos con diferente formación, puestos de trabajo y experiencia, participaron en una simulación de interacción con un modelo de aprendizaje automático entrenado con un conjunto de datos de la renta nacional de Estados Unidos de 1994. El experimento fue diseñado específicamente para imitar cómo los científicos de datos usan las herramientas de interpretación para las tareas a las que se enfrentan habitualmente.

Lo que el equipo encontró fue sorprendente. Por supuesto, a veces estas herramientas ayudaban a las personas a detectar algunos valores que no estaban presentes en los datos. Pero esta utilidad se vio eclipsada por una tendencia a confiar demasiado y a malinterpretar las visualizaciones. En algunos casos, los usuarios ni siquiera entendían lo que mostraban las visualizaciones. Esto dio lugar a suposiciones incorrectas sobre el conjunto de datos, los modelos y las propias herramientas de interpretación e infundió una confianza errónea en los instrumentos que animó a los participantes usar aún más los modelos, incluso cuando les parecía que no iban del todo bien. Lo más preocupante es que esto ocurría incluso cuando los resultados habían sido manipulados para mostrar las explicaciones sin sentido.

Para respaldar los hallazgos de su pequeño estudio, los investigadores realizaron una encuesta online a unos 200 profesionales de aprendizaje automático. Sus respuestas revelaron una confusión similar y, de nuevo, una confianza infundada.

Peor aún, a muchos participantes les encantó usar las visualizaciones para tomar decisiones sobre la implementación del modelo a pesar de admitir que no entendían las matemáticas subyacentes. "Fue especialmente sorprendente ver cómo las personas inventaban argumentos para justificar situaciones inusuales en los datos", subraya la coautora del estudio de la Universidad de Michigan (EE. UU.), Harmanpreet Kaur. La investigadora añade: "El sesgo de automatización fue un factor muy importante que no habíamos tomado en consideración".

Sí, el sesgo de automatización. En otras palabras, las personas suelen confiar en los ordenadores. No se trata de un fenómeno nuevo. Varios estudios han demostrado que la gente suele aceptar las elecciones de los sistemas automatizados, desde pilotos automáticos en aviones hasta correctores de ortografía, incluso cuando están claramente equivocados. Pero el problema se vuelve aún más grave cuando esto sucede con las herramientas diseñadas para ayudarnos a evitar precisamente este fenómeno.

¿Qué podemos hacer al respecto? Para algunos, parte del problema con la primera ola de XAI consiste en que está dominada por investigadores de aprendizaje automático, la mayoría de los cuales son usuarios expertos de los sistemas de inteligencia artificial. El investigador especializado en el uso de sistemas de inteligencia artificial de la Universidad de Melbourne (Australia) Tim Miller afirma: "Los internados gestionan el internado".

Ehsan se dio cuenta de eso cuando estaba sentado en la parte trasera del Uber sin conductor. Resulta más fácil entender lo que hace un sistema automatizado, y ver cuándo comete un error, si se explica como lo haría un ser humano. Ehsan y su colega Mark Riedl están desarrollando un sistema de aprendizaje automático que genera tales explicaciones en lenguaje natural automáticamente. En un primer prototipo, los investigadores usaron una red neuronal que había aprendido a jugar el clásico videojuego de la década de 1980 Frogger, y lo entrenaron para ofrecer una explicación cada vez que realizaba un movimiento.

Foto: Captura de pantalla del programa de Ehsan y Riedl que explica sus movimientos en el videojuego 'Frogger'. Créditos: Upol Ehsan

Para lograrlo, entrenaron al sistema con muchos ejemplos de personas que comentaban sus jugadas en voz alta. Luego utilizaron una red neuronal de traducción y la adaptaron para que tradujera las acciones en el juego y las explicaciones del lenguaje natural para dichas acciones. Así que, cuando la red neuronal ve una acción, la "traduce" en forma de explicación. El resultado es una IA que capaz de jugar a Frogger y cada vez que realiza un movimiento dice algo como: "Me muevo a la izquierda para quedarme detrás del camión azul".

El trabajo de Ehsan y Riedl es solo un primer paso. Por un lado, no está claro que un sistema de aprendizaje automático siempre vaya a ser capaz de proporcionar una explicación de sus acciones en lenguaje natural. Por ejemplo, en el caso la IA AlphaZero de DeepMind. Una de las características más llamativas del software es su capacidad de realizar movimientos ganadores que a la mayoría de los jugadores humanos no se le ocurriría intentar. Si AlphaZero pudiera explicar sus movimientos, ¿acaso tendrían sentido siempre?

Para Ehsan, cualquier explicación es útil, la entendamos o no. El experto añade: "El objetivo de la XAI centrada en el ser humano no es solo hacer que el usuario esté de acuerdo con lo que dice la IA, sino también provocar que reflexione". Riedl recuerda haber visto la transmisión en directo de la partida del torneo entre la IA de DeepMind contra el campeón coreano de Go, Lee Sedol. Los comentaristas hablaban sobre lo que AlphaGo veía y pensaba. Pero Riedl explica: "AlphaGo no funcionaba así. Pero me pareció que los comentarios resultaron fundamentales para entender lo que pasaba".

Esta nueva ola de investigadores de XAI está de acuerdo en que, si queremos que más gente pueda usar la IA, esas personas deben ser formar parte del diseño desde el principio. También coinciden en que cada tipo de persona necesitaría un tipo de explicación diferente. (El nuevo estudio de Howley y sus colegas, en el que muestran que la capacidad de las personas para comprender una visualización interactiva o estática depende de su nivel de educación, respalda esta idea). Un ejemplo sería una IA entrenada para diagnosticar cáncer. La explicación que le dé al oncólogo debería ser muy diferente de la le dé al paciente.

El objetivo final es que la IA sea capaz de dar explicaciones no solo a los científicos de datos y a los médicos, sino también a los policías que usan tecnologías de reconocimiento facial, a los maestros que usan software de análisis en sus aulas, a los alumnos que intentan dar sentido a sus redes sociales y a cualquiera que esté sentado en el asiento trasero de un coche autónomo. Riedl concluye: "Desde siempre sabemos que la gente confía demasiado en la tecnología, y algo especialmente cierto con los sistemas de inteligencia artificial. Cuanto más se diga que son inteligente, más personas se convencerán de que son más inteligente que ellas". Las explicaciones comprensibles por cualquiera deberían ayudar a resolver ese problema.