Predecir proteínas para descubrir nuevos fármacos, vaticinar la lluvia o anticipar fallos en la cadena de suministro.  Pese a las aplicaciones útiles de la inteligencia artificial (IA), las lagunas de privacidad o la perpetuación de comportamientos racistas, machistas o colonialistas debido al origen de los datos que se emplean para entrenar a los algoritmos son preocupantes. Para abordar esos desafíos éticos, la Unión Europea ha presentado un reglamento que propone multar a las empresas que desarrollen sistemas de IA dañinos, una norma que puede definir las bases para regular esta tecnología en todo el mundo.

Más allá de la regulación, algunos expertos ya están reflexionando sobre las implicaciones éticas de la IA y la forma de enfrentarse a ellas. Idoia Salazar, fundadora del Observatorio Social y Ético de la IA (OdiseIA), colaboradora de la Secretaría de Estado de digitalización e Inteligencia Artificial de España y miembro del equipo de expertos en IA del Parlamento Europeo, y Lorena Jaume-Palasí, fundadora de The Ethical Tech Society, una organización que investiga las implicaciones sociales de los procesos de automatización y miembro del panel de Evaluación de Opciones Científicas y Tecnológicas de la Unión Europea, han debatido sobre las luces y las sombras de la inteligencia artificial en el cuarto episodio del pódcast Constante Futuro, que puedes escuchar en Spotify, Ivoox y Apple Podcasts. 

Esta tertulia se ha editado por su longitud y para su claridad.

Uno de los problemas de la inteligencia artificial más conocidos es la discriminación. Un caso real fue el de COMPAS, un sistema utilizado por la justicia penal de EE UU con sesgos hacia los acusados afroamericanos. Los propios modelos de inteligencia artificial que generan textos automáticamente analizan datos de internet, entre ellos contenidos tóxicos y desinformación, que pueden replicar después. ¿Cuáles son los principales riesgos de que un algoritmo tenga prejuicios?

Idoia: Sabemos que estos sistemas de IA necesitan muchísimos datos para su entrenamiento. La mayor parte de las veces son datos históricos de empresas donde ha habido casos de discriminación hacia mujeres o hacia razas específicas. Casos como el de COMPAS son un problema porque maximizan estos prejuicios sociales que han existido desde siempre. Pero a mí me gusta ver también el lado positivo de la situación que vivimos con el desarrollo de la IA: cada vez tenemos mayor consciencia sobre el problema de los sesgos. Existen herramientas para quitar estas variables de sexo, raza u otras para intentar entrenar de una manera más objetiva al algoritmo. Por otro lado, también se toma consciencia de esa necesidad de no dejar que sea el algoritmo el que tome la decisión final en casos en las que haya implicaciones humanas.

Lorena: Yo soy un poco más escéptica, porque la semántica de sesgo le quita gravedad y distrae el debate de la discriminación. Ya no estamos hablando de racismo o de sexismo, sino que hablamos de sesgo, como si fuese un tema estadístico. Los sistemas algorítmicos tienen un pensamiento muy europeo y antiguo. Hacemos sistemas algorítmicos basados en una aproximación de reglas exactas estandarizadas. Y cuando se crean estándares, se crean cajones, y este tipo de sistemas tienden a discriminar.

La revista ProPublica descubrió hace unos años que COMPAS estaba utilizando datos históricos y, con ello, discriminando o siendo racista con las personas negras en el sistema penitenciario norteamericano. Se siguen utilizando métodos como los que ha descrito Idoia para eliminar la clasificación racial o eliminar cualquier tipo de discriminación en este tipo de sistemas, lo cual es imposible porque ya sabemos que se puede inferir el género o la raza con las que se clasifica a una persona con otro tipo de datos. 

En la Guía de Buenas Prácticas de Impacto social y ética del Observatorio de Impacto Social de la IA del que forma parte Idoia, se comparan las competencias de la IA con las de los seres humanos o empresas. Y aquí me surge una pregunta, si los propios seres humanos ya fallamos en esas cuestiones y lo vemos constantemente. ¿Cómo podemos asegurar que los algoritmos no tienen esos sesgos si directamente están creados por seres humanos que ya los tienen?  

I: La cuestión es ver a estos sistemas de IA como lo que son, por muchas peculiares que tengan similares a los seres humanos, son herramientas que nos ayudan a lidiar con la cantidad de datos que tenemos a nuestro alrededor. Yo cada vez estoy más convencida que debiéramos desechar del concepto de toma de decisiones y decir solamente recomendaciones o conclusiones. Porque la decisión final la tiene que tomar la persona que es la capaz aplicar un contexto. Aun así, los profesionales deben formarse en IA para poder aprovechar las ventajas de este sistema. Hay una falta de formación muy clara.

La Comisión Europea presentó hace unos meses una propuesta de marco legal pionero para la inteligencia artificial que actualmente está en trámite. Entre otros muchos aspectos, pretende que esta tecnología sea más explicable y transparente. ¿Cómo se puede lograr esa transparencia?  

L: La transparencia en los sistemas de inteligencia artificial es una cortina de humo, como lo es el cambio de semántica cuando no hablamos de discriminación o de racismo sino de sesgos. Forma parte de este problema del solucionismo tecnológico: si cambiamos la fórmula matemática, lo solucionamos. Esa cortina de humo en la transparencia me parece bastante problemática porque lo que vemos en la tradición legal europea es que, con la transparencia, en muchos casos, se transfiere la responsabilidad allá dónde no toca, de la empresa al consumidor.

I: En la declaración que hizo la UNESCO de los principios éticos de la IA, se está intentando materializar esa transparencia para que todo aquel que use un sistema de IA sepa de qué manera ha llegado a la toma de decisiones, los datos que ha usado y su metodología para que las personas entiendan cómo se llega a esa toma de decisiones. Creo que es importante que empecemos a hacer una labor de divulgación porque la sociedad debe ser partícipe de las decisiones al respecto de la IA.

Además de la transparencia, en la propuesta de la Comisión Europea se están planteando de los algoritmos en cuatro niveles de riesgo, con obligaciones asociadas para los fabricantes. Hablamos de riesgo inaceptable, riesgo alto, riesgo limitado y riesgo mínimo. Me recuerda un poco al debate que se planteó durante la regulación de la privacidad en Europa. ¿Cómo esta norma puede obstaculizar la innovación como han sugerido ya algunos expertos?

L: No creo que las categorías de la UE obstaculicen la innovación. Esta regulación se basa en el artículo 114 de los tratados fundamentales que tenemos en la UE, es decir, es derecho mercantil. No estamos en una disciplina de derechos constitucionales. El riesgo es multidimensional y este tipo de categorizaciones que se hacen son muy simplistas porque no se especifica qué tipo de riesgo. Por otro lado, creer que se puede decir ex ante cuánto riesgo tiene un sistema es también irónico y demuestra la mirada cosmética de este tipo de regulación. 

I: Creo que la UE tiene claro que hay que impulsar los sistemas de IA. Para ello, quiere aumentar la confianza de los consumidores y no regular la tecnología en sí misma sino estos casos concretos. No solamente analizando los casos de uso que ya hemos tenido con la implementación de sistemas de IA en diferentes productos y situaciones sobre casos reales, sino intentar prever de qué manera va a seguir esta evolución en los distintos sectores y la distinta casuística que se está planteando. ¿Qué si va a ser difícil y en la regulación vamos a tener más problemas para incentivar el uso de la IA? Todo esto se está trabajando en el sandbox que está desarrollando el Gobierno de España en el que se va a intentar dotar de herramientas sobre todo a las pymes para que se produzcan todos los procesos de adecuación al reglamento de IA de una manera lo más ágil posible. El gran riesgo que tenemos aquí es que las pymes y las startups sean capaces de adecuarse, pero se está trabajando en eso.

Algunos de los resultados de los algoritmos suscitan controversia. Es el caso de los 'deepfakes', imágenes, vídeos y audios ultrarrealistas que pueden imitar a personas vivas e incluso a fallecidas. Aunque la Unión Europea considera que tienen riesgo limitado, ¿es ético utilizar la cara, los gestos y la voz de otra persona, en especial si ya no está?

L: Las personas que han fallecido dejan de tener esa protección con sus datos. Es legal. Y lo legal es una forma de fijar lo que creemos que es ético o aceptable en una sociedad. Sin embargo, a nivel técnico, se tiene que decir que se pretende replicar a una persona, pero no se está replicando a una persona; se está extrapolando lo que esa persona era en base a determinados modelos. Es como hacer títeres de gente fallecida y a mí me parece una falta de respecto teniendo en cuenta la cultura que tenemos con las personas fallecidas.

Gracias a los avances de la inteligencia artificial, estamos preguntándonos qué es la inteligencia o la conciencia, e incluso se ha puesto de nuevo sobre la mesa una disciplina tan antigua como la ética. ¿Nos está ayudando la tecnología a replantearnos nuestros propios valores? 

I: Sí. Hacía mucho que no se hablaba tanto de ética y cuestiones filosóficas. Debemos pararnos a pensar en ese tipo de cuestiones como qué es el ser humano, hacia dónde queremos ir como humanidad, qué es la privacidad u otras cuestiones que nos ayudan a ser más conscientes de muchas de las acciones para que tomemos la decisión correcta.

L: El problema que tenemos con la IA y las consecuencias negativas que esta tecnología tiene no es por la tecnología en sí en sí, sino por el pensamiento con el que hacemos ese tipo de tecnología. Ese pensamiento es profundamente racista y colonialista. Por ello, yo no diría que en general la tecnología nos está haciendo repensar cómo utilizamos las cosas, depende de dónde esté cada uno y el contexto donde uno esté.