¿Por qué a los diseñadores de algoritmos y los científicos de datos les cuesta tanto tener en cuenta los sesgos y las injusticias?

Por ejemplo, imagínese en un ambiente de trabajo que resulte hostil para las mujeres. Supongamos que el éxito se define como el hecho de que alguien que lleva en su puesto de dos a tres años obtenga un ascenso. Entonces, cualquier algoritmo basado en los datos históricos estimará que no es una buena idea contratar mujeres. Lo más interesante es que no estamos hablando de decisiones históricas de contratación. Incluso si las decisiones de contratación fueron totalmente imparciales en su momento, la realidad (la discriminación real en el entorno hostil) sigue ahí. Es un tema más profundo, más estructural, más arraigado y más difícil de superar.

Creo que el verdadero gran uso del aprendizaje automático y de la inteligencia artificial vendrá de la mano de personas realmente cultas que conozcan la historia, la sociología y la psicología, que sean capaces de descubrir quién debe ser tratado de manera similar a quién.

No niego que en el futuro los ordenadores serán capaces de hacer esto, pero ahora mismo no lo veo posible. ¿Cómo sabes cuándo tienes el modelo correcto capaz de captar lo que realmente ha sucedido en la sociedad? Necesitas entender de que estás hablando. Ahí está el famoso dicho: "Todos los modelos son incorrectos, pero algunos son útiles".

*Cynthia Dwork es informática en la Universidad de  Harvard (EEUU) y está desarrollando formas de asegurarse de que las máquinas funcionen de manera justa.