Este es un extracto -algo editado- de Unmasking AI: My Mission to Protect What Is Human in a World of Machines, escrito por Joy Buolamwini y publicado por Random House el 31 de octubre

El término “riesgo relativo” se utiliza para designar al hipotético riesgo que plantea la IA. Mis investigaciones sugieren que las herramientas de IA no deberían integrarse en los sistemas de armamento debido a los peligros letales. No se debe a que considere que la mera existencia de un sistema de IA plantea un riesgo como agente superinteligente.

Ya pueden poner su vida en peligro aquellas IA que clasifican, de manera errónea, a las personas como sospechosas de delitos, los robots utilizados para la vigilancia policial y los coches autónomos con sistemas defectuosos para el seguimiento de peatones. Lamentablemente, no es necesario que los sistemas de IA sean superinteligentes para que tengan consecuencias fatales en la vida de los ciudadanos. Los sistemas de IA actuales que han causado perjuicios, como ya se ha demostrado, son más peligrosos que las hipotéticas IA "sintientes"; pues son reales.

Al minimizar los daños existentes de la IA asegurando que los hipotéticos daños son más importantes, surge un problema: se desvía el flujo de los valiosos recursos y la atención legislativa. Las empresas que afirman temer el riesgo existencial de la IA podrían demostrar un compromiso genuino con la protección de la humanidad al no liberar herramientas de IA que, según afirman, podrían acabar con ella.

No me opongo a impedir la creación de sistemas de IA letales. Los gobiernos preocupados por el uso letal de la IA pueden adoptar las protecciones que, desde hace tiempo, ha defendido la Campaña para Detener a los Robots Asesinos (Stop Killer Robots, en inglés). Su objetivo es prohibir los sistemas autónomos letales y la deshumanización digital. La campaña aborda los usos mortales de la IA, sin la pirueta hiperbólica sobre la creación de sistemas sensibles que destruirán a toda la humanidad en el futuro.

Aunque es tentador considerar la violencia física como el daño definitivo, al hacerlo se olvidan otras formas perniciosas que tienen nuestras sociedades de perpetuar la violencia estructural. Johan Galtung, un sociólogo noruego, acuñó este término para describir cómo las instituciones y las estructuras sociales impiden a las personas satisfacer sus necesidades fundamentales y, por tanto, causan perjuicio. Negar el acceso a la atención sanitaria, la vivienda y el empleo mediante el uso de la IA perpetúa los daños individuales y las cicatrices generacionales. Los sistemas de IA pueden matarnos a fuego lento.

Teniendo en cuenta lo que mi investigación Gender Shades reveló sobre el sesgo algorítmico de algunas de las principales empresas tecnológicas del mundo, mi preocupación se centra en los problemas inmediatos y las vulnerabilidades emergentes con la IA. Si podríamos abordarlos de manera que también ayuden a crear un futuro donde el peso de la IA no recaiga sobre las personas marginadas y vulnerables. Los sistemas de IA con una inteligencia deficiente, que conducen a falsas detenciones o diagnósticos erróneos, deben abordarse inmediatamente.

Al pensar en el riesgo relativo, considero que los ciudadanos ya están siendo perjudicados, mientras otras personas corren el riesgo de serlo por los sistemas de IA. Pienso en el riesgo y la realidad de ser "excodificado". La "excodificación" se produce cuando un hospital utiliza la IA para el triaje y le deja sin atención médica, o utiliza un algoritmo clínico que le impide recibir un trasplante que puede salvarle la vida. Puede ser excodificado cuando le deniegan un préstamo al basarse en decisiones algorítmicas. Puede ser excodificado cuando su currículum se descarta de manera automática y le niegan la oportunidad de competir por los puestos de trabajo que no son sustituidos por sistemas de IA. Puede ser excodificado cuando un algoritmo de selección de inquilinos le niega el acceso a una vivienda. Todos estos ejemplos son reales. Nadie es inmune a la excodificación, y quienes ya están marginados corren un riesgo mayor.

Por eso, mi investigación no puede limitarse a quienes conocen la industria, los investigadores de IA o incluso las personas influyentes y bienintencionadas. Sí, las conferencias académicas son lugares importantes. Para muchos académicos, la presentación de artículos publicados es la culminación de una investigación específica. Para mí, presentar Gender Shades en la Universidad de Nueva York (EE UU) solo fue la casilla de salida. Me sentí motivada para poner en práctica mi investigación, más allá de las conversaciones con profesionales de la IA, las presentaciones académicas y las cenas privadas. No basta con llegar al mundo académico y a los expertos del sector. Debemos asegurarnos de que las personas que corren el riesgo de sufrir daños por parte de la IA participen en la lucha por la justicia algorítmica.

Lea aquí nuestra entrevista con Joy Buolamwini