La gran mayoría de las aplicaciones de inteligencia artificial (IA) se basan en una categoría conocida como aprendizaje profundo, cuyos algoritmos están especializados en encontrar patrones en los datos. A pesar de la enorme utilidad de este enfoque en algunos de sus usos, otros pueden tener un gran impacto negativo en la vida de la gente: pueden perpetuar la injusticia en la contratación, las ventas y la seguridad,  y también el sistema de justicia penal.

Pero ser conscientes de que estos sesgos existen no es suficiente. Si queremos ser capaces de corregirlos, debemos comprender cómo surgen.

Cómo se producen los sesgos algorítmicos

A menudo nos limitamos a responsabilizar a los datos de entrenamiento como únicos culpables del sesgo algorítmico. Pero la realidad tiene matices: el sesgo puede aparecer mucho antes de que los datos se recopilen y también en muchas otras etapas del proceso de aprendizaje profundo. Para analizar el fenómeno lo mejor posible, nos centraremos en tres etapas clave.

Definición del problema. Lo primero que hacen los informáticos cuando crean un modelo de aprendizaje profundo es decidir cuál es su objetivo. Una compañía de tarjetas de crédito, por ejemplo, podría querer predecir la solvencia de sus clientes, pero "solvencia" es un concepto bastante difuso. Para traducirlo en algo que se pueda calcular, la empresa debe decidir si quiere, por ejemplo, maximizar sus márgenes de beneficio o la cantidad de préstamos reembolsados. Entonces definiría la solvencia en el contexto del objetivo. El problema es que "esas decisiones se toman por diversas razones comerciales que no son ni la imparcialidad ni la discriminación", explica el profesor asistente en la Universidad de Cornell (EE. UU.) Solon Barocas, especializado en la equidad en el aprendizaje automático. Si el algoritmo descubriera que dar préstamos de alto riesgo es una forma efectiva de maximizar las ganancias, terminaría comportándose como un depredador, incluso aunque esa no fuera la intención de la compañía.

Recogida de los datos.  Los datos producen sesgos principalmente por dos vías: o los datos recopilados no son representativos de la realidad o reflejan prejuicios ya existentes. El primer caso podría ocurrir, por ejemplo, si un algoritmo de aprendizaje profundo recibe más fotos de las caras de piel clara que las de piel oscura. El sistema de reconocimiento facial, como consecuencia de eso, sería inevitablemente peor en el reconocimiento de las caras de piel más oscura. El segundo caso es precisamente lo que sucedió cuando Amazon descubrió que su herramienta de reclutamiento interno estaba descartando las candidatas mujeres. Dado que el algoritmo se entrenó a partir de decisiones históricas de contratación que favorecían a los hombres sobre las mujeres, el software aprendió a hacer lo mismo.

Preparación de los datos.  Finalmente, es posible introducir sesgos durante la etapa de preparación de datos a la hora de seleccionar los atributos que deseamos que el algoritmo tenga en cuenta. (No debe confundirse con la etapa de la definición del problema. Es posible usar los mismos atributos para entrenar un modelo para objetivos muy diferentes o usar atributos muy distintos para entrenar un modelo para el mismo objetivo). En el caso de modelar la solvencia crediticia, un "atributo" podría ser la edad del cliente, los ingresos o la cantidad de préstamos pagados. En el caso de la herramienta de reclutamiento de Amazon, un "atributo" podría ser el género, el nivel de educación o los años de experiencia de los candidatos. Esto es lo que la gente suele denominar como el "arte" del aprendizaje profundo: elegir qué atributos considerar o ignorar puede influir significativamente en la precisión de la predicción de un modelo. Pero, aunque resulta fácil medir su impacto en la precisión, medir sus sesgos es un proceso bastante complicado.

¿Por qué cuesta tanto corregirlos?

Visto el contexto, es fácil percibir algunos de los desafíos a la hora mitigar el sesgo algorítmico. Aquí destacamos los cuatro principales.

Desconocer lo que se desconoce.  La introducción del sesgo no siempre resulta obvia durante la construcción del modelo porque es posible que uno no se dé cuenta hasta mucho más tarde de los impactos posteriores de los datos y las decisiones. Una vez introducido, es difícil identificar de forma retroactiva de dónde ha venido el sesgo y averiguar cómo deshacerse de él. En el caso de Amazon, cuando los informáticos descubrieron que su herramienta estaba descartando a las mujeres candidatas, lo reprogramaron para que ignorara las palabras con género explícito como "mujeres". Pronto descubrieron que la revisión seguía recogiendo palabras con género implícito, como verbos altamente correlacionados con hombres y no con mujeres, como "ejecutado" y "capturado", y que esos verbos todavía influían en la toma de decisiones del sistema.

Procesos mal diseñados.  Primero, muchas de las prácticas comunes en el aprendizaje profundo no están diseñadas para tener en cuenta la detección de sesgos. El rendimiento de los modelos de aprendizaje profundo se prueba antes de su implementación, lo que parece una oportunidad perfecta para identificar sesgos. Pero en la práctica, las pruebas funcionan así: los informáticos dividen sus datos al azar y utilizan uno de los grupos para entrenar al algoritmo. El otro se reserva para validar su eficacia posteriormente. Eso significa que los datos de control para probar el rendimiento del modelo tienen los mismos sesgos que los datos de entrenamiento. Por lo tanto, es imposible detectar que los resultados están sesgados.

Falta de contexto social.  Del mismo modo, la forma en la que se enseña a los informáticos a abordar los problemas a menudo no encaja con la mejor forma de pensar en dichos problemas. Por ejemplo, en un artículo del postdoctorado del Instituto de Investigación de Data & Society Andrew Selbst, el investigador identifica lo que ha bautizado como la "trampa de la portabilidad". En informática, diseñar un sistema que se pueda usar para diferentes tareas en distintos contextos se considera una buena práctica. Pero Selbst lamenta: "Ese enfoque ignora gran parte del contexto social. Un sistema diseñado para EE. UU. no puede aplicarse directamente a Canadá porque son comunidades distintas con diferentes versiones de la imparcialidad. Tampoco es posible tener un sistema para obtener resultados penales 'justos' y aplicarlo al empleo. La forma en la que pensamos sobre la equidad en esos contextos es totalmente diferente".

Distintas definiciones de equidad.  Tampoco está claro qué aspecto debería tener la ausencia de sesgo algorítmico. Esto no ocurre solo en informática, es una cuestión que tiene una larga historia de debates en filosofía, ciencias sociales y derecho. La diferencia es que en informática el concepto de equidad debe definirse en términos matemáticos, como equilibrar las tasas de falso positivo y falso negativo en un sistema de predicción. Pero los investigadores han descubierto que hay muchas definiciones matemáticas diferentes de equidad que también se excluyen mutuamente. ¿La equidad significa, por ejemplo, que la  misma proporción  de individuos blancos y negros debería recibir los mismos puntos de evaluación de alto riesgo? ¿O que el mismo nivel de riesgo debería resultar en la misma puntuación independientemente de la raza? Es imposible cumplir ambas definiciones al mismo tiempo (aquí hay un análisis más detallado de por qué), por lo que en algún momento habrá que elegir una de ellas. Pero mientras que en otros campos se entiende que esta decisión es algo que puede cambiar con el tiempo, en el campo de la informática estas definiciones suelen ser fijas. "Al determinar la respuesta, la resolución del problema tiene un aspecto muy diferente al que tiene la sociedad sobre la misma cuestión", explica Selbst.

Qué podemos hacer ahora

Si esta vertiginosa explicación del enorme alcance del problema de sesgo en IA le está dando mareos, a mí también. Pero, afortunadamente, un gran grupo de investigadores de IA está trabajando arduamente para abordar este problema. Y para ello han adoptado una gran variedad de enfoques: algoritmos que ayudan a detectar  y  mitigar los sesgos ocultos dentro de los datos de entrenamiento o que reducen los sesgos aprendidos por el modelo independientemente de la calidad de los datos; procesos que hacen que las empresas sean responsables de contar con los resultados más justos y análisis que eliminan las diferentes definiciones de la imparcialidad.

"Corregir la discriminación en los sistemas algorítmicos no es algo que se pueda resolver fácilmente. Es un proceso continuo, al igual que la discriminación en cualquier otro aspecto de la sociedad", concluye Selbst.