Una nueva investigación demuestra que los sutiles sesgos de género presentes en la sociedad se han atrincherado también en los conjuntos de datos utilizados para enseñar capacidades lingüísticas a los programas de inteligencia artificial (IA). Es un problema porque, a medida que los algoritmos mejoren su capacidad y se utilicen en más áreas, sus inclinaciones sexistas podrían tener consecuencias muy negativas, como por ejemplo durante la búsqueda de empleo.
El problema surge por la manera en que se está enseñando a las máquinas a leer y hablar: los informáticos proveen a los algoritmos con volúmenes enormes ejemplos escritos y hablados de lenguaje. Luego, dejan que sea la máquina quien elabore las conexiones entre palabras y frases.
El resultado de esas conexiones, conocido como incrustaciones de palabras, las cuales se utilizan de manera sistemática para entrenar los sistemas de IA que procesan el lenguaje; incluidos bots de conversación, sistemas de traducción, programas para escribir automáticamente pies de foto y algoritmos de recomendaciones.
En realidad, las incrustaciones de palabras representan la relación entre palabras como valores matemáticos. Esto permite que una máquina genere conexiones semánticas entre, por ejemplo, "rey" y "reina" y entienda que la relación entre estas dos palabras es similar a la de "hombre" y "mujer". Pero una investigación de la Universidad de Boston (EEUU) y Microsoft Research Nueva Inglaterra (EEUU) también desveló que las bases de datos empleadas consideraban que lo más parecido a "programador" es "hombre", y lo más parecido a "mujer" es "ama de casa".
El profesor adjunto de la Universidad de Stanford James Zou, quien participó en la investigación mientras trabajaba para Microsoft, cree que esto podría tener un abanico muy amplio de consecuencias imprevistas. "Aún intentamos entender el impacto total de usar estas incrustaciones sexistas para desarrollar muchos de los sistemas de IA", explica.
Zou y sus compañeros han realizado algunos experimentos sencillos para demostrar cómo puede manifestarse el sexismo en los sistemas de IA. En uno de ellos, crearon un programa capaz de 'leer' las páginas web y clasificarlas por su relevancia. El equipo encontró que el sistema consideraba a los contenidos e información sobre mujeres programadoras menos relevantes que las de sus homólogos masculinos.
El equipo de investigación también desarrolló una forma de eliminar los sesgos de género de las incrustaciones: modificar la relación matemática entre las palabras de género neutro como "programador" (en inglés no diferencia entre masculino y femenino) y aquellas con género, como "hombre" y "mujer".
Sin embargo, no todo el mundo piensa que deba eliminarse el sesgo sexista de los conjuntos de datos. El profesor adjunto de informática de la Universidad de Princeton (EEUU) Arvind Narayanan también ha estudiado las incrustaciones de palabras y ha encontrado prejuicios de género, raciales y de otros tipos. Pero, a diferencia de otros investigadores, Narayanan desaconseja y advierte contra eliminarlos de manera automática. Según él, hacerlo podría distorsionar la representación que un ordenador tiene del mundo y mermar su capacidad para predecir resultados y analizar datos..
"Deberíamos considerar esto como una característica en lugar de un error", explica Narayanan. "Realmente depende de su aplicación. Lo que supone un sesgo o prejuicio horrible en una aplicación podría acabar siendo exactamente el significado que uno busca sacar de los datos en otra aplicación".
Existen varios repositorios de incrustaciones de palabras como Word2Vec, creado por investigadores de Google, y GloVe, desarrollado por la Universidad de Stanford. Google ha rehusado comentar las investigaciones sobre el sexismo de los datos de Word2Vec, pero está claro que la empresa es consciente del reto que supone. En una entrada reciente de blog, la compañía describe un enfoque técnico para eliminar la discriminación de los sistemas de IA para toma de decisiones sin afectar a su utilidad.
Según la profesora de la Universidad de Harvard (EEUU) Barbara Grosz, una IA sesgada podría exacerbar la injusticia ya existente. "Cuando formas parte de una sociedad que evoluciona de determinadas maneras, entonces realmente estás intentando cambiar el futuro para que no se parezca al pasado", explica Grosz, coautora de un informe de la Universidad de Stanford titulado IA 100 y escrito para entender los peligros potenciales de la IA (ver Los expertos siguen insistiendo en que la IA no nos destruirá, de momento). "Y en la medida en que confiamos en algoritmos para ese tipo de predicciones, existe una duda ética sobre si al hacerlo estamos inhibiendo el mismo cambio que buscamos", indica Grosz.
La profesora de Harvard reconoce que podría haber situaciones en las que no tenga sentido suprimir el sesgo de un conjunto de datos. "No es como si se pudiera evitar todo tipo de discriminación, pero tenemos que ser conscientes de ello al diseñarlo y con lo que buscamos con nuestros programas", añade. "Pero para muchas de estas preguntas éticas, no existe una única respuesta correcta".