Los modelos matemáticos opacos y potencialmente sesgados están empezando a controlar nuestras vidas, y parece que ni a las empresas responsables ni a los gobiernos les interesa solucionar el problema. Así que un grupo de investigadores en colaboración con la Unión Estadounidense por las Libertades Civiles ha lanzado una iniciativa para identificar y destacar los sesgos algorítmicos. El proyecto, llamado AI Now, ha sido recientemente anunciado durante un evento del MIT (EEUU) e intentará explorar lo que muchos expertos ven como un creciente desafío.

El sesgo algorítmico se está convirtiendo en un importante problema social que coincide con un momento crítico en la evolución del aprendizaje automático y la inteligencia artificial (IA). No identificar los prejuicios que se esconden dentro de los algoritmos que toman decisiones cada vez más importantes podría tener graves consecuencias negativas, especialmente para las comunidades más pobres y las minorías. Pero estos miedos también podrían obstaculizar el progreso de una tecnología increíblemente útil (ver Unámonos para evitar la discriminación de los algoritmos que nos gobiernan).

Los algoritmos con posibles prejuicios ocultos ya se usan cada día para tomar importantes decisiones financieras y legales, como por ejemplo, quién obtendrá una entrevista de trabajo, la libertad condicional o  un préstamo. Las investigadoras de Microsoft y Google Kate Crawford y Meredith Whittaker respectivamente, afirman que los prejuicios pueden existir en todo tipo de servicios y productos.

En un correo electrónico, afirman: "Todavía estamos en los primeros días de la ciencia del sesgo algorítmico. En este año hemos observado más sistemas con problemas, y estos son sólo los que han sido investigados". Ambas afirman que los recientes ejemplos de sesgos algorítmicos que han salido a la luz son sistemas defectuosos y poco representativos utilizados para valorar a los profesores y modelos basados ​​en el género para el procesamiento del lenguaje natural.

La matemática y autora de Armas de Destrucción Matemáticas, Cathy O'Neil, cuyo libro destaca el riesgo del sesgo algorítmico en muchos contextos, afirma que las personas suelen estar demasiado dispuestas a confiar en modelos matemáticos porque creen que eliminarán el sesgo humano. "[Los algoritmos] reemplazan los procesos humanos, pero no están sometidos a los mismos estándares [que los humanos]. La gente deposita una confianza excesiva en ellos", sentencia.

No son las únicas investigadoras que coinciden en que uno de los desafíos clave estriba en que las partes interesadas más estratégicas, incluidas las empresas que desarrollan y aplican sistemas de aprendizaje automático y los reguladores gubernamentales, muestran poco interés en controlar y limitar el sesgo algorítmico. Las empresas financieras y tecnológicas utilizan todo tipo de modelos matemáticos y no son transparentes sobre su funcionamiento. O'Neil señala, por ejemplo, que le preocupa el funcionamiento de los algoritmos del nuevo servicio de búsqueda de empleo de Google.

O'Neil trabajó previamente como profesora de la Universidad de Barnard en Nueva York (EEUU) y como analista cuantitativa en la compañía DE Shaw. Actualmente dirige Online Risk Consulting & Algorithmic Auditing, una consultora fundada para ayudar a las empresas a identificar y corregir los sesgos en los algoritmos que utilizan. Pero la directora asegura que incluso aquellos que saben que sus algoritmos podrían estar sesgados están más interesados ​​en los resultados financieros que en solucionar el problema. O'Neil admite: "Seré sincera contigo. No tengo clientes en este momento".

O'Neil, Crawford y Whittaker también advierten de que la falta de interés de Trump en la inteligencia artificial (y en la ciencia en general) supone que ahora mismo no haya ningún movimiento regulatorio para abordar la cuestión. Crawford y Whittaker escriben: "La Oficina de Políticas Científicas y Tecnológicas [de la Oficina Ejecutiva del Presidente de EEUU] ya no participa activamente en las políticas de inteligencia artificial, ni en casi ninguna otra cosa, según su página web... El trabajo político debe estar haciéndose en otra parte".