La sociedad empieza a ser consciente de que los algoritmos de inteligencia artificial (IA) tienen un grave problema de sesgos, especialmente cuando se trata de la raza y el género. Es posible que haya visto algunos titulares: sistemas de reconocimiento facial que no reconocen a las mujeres negras o herramientas automáticas de selección de personal que pasan por alto a las mujeres candidatas (ver Google advierte: el verdadero peligro de la IA no son los robots asesinos sino los algoritmos sesgados).

Y aunque cada vez hay más proyectos que intentan abordar los sesgos más graves y claros (ver La IA necesita apoyo humano para acabar con los algoritmos sesgados), los profesionales de la IA parecen haber pasado por alto a otro colectivo a la hora de desarrollar sus algoritmos: las personas con discapacidad. Por ejemplo, los algoritmos de los coches autónomos están entrenados para saber qué aspecto tienen los peatones para no atropellaros.  Pero si el conjunto de datos de entrenamiento no incluye a personas en sillas de ruedas, la tecnología podría convertirse en un peligro mortal para ellas.

Para la investigadora del equipo de accesibilidad de IBM Shari Trewin esta situación es inaceptable. Por eso, está trabajando en una nueva iniciativa para explorar nuevos procesos de diseño y metodologías que puedan mitigar el sesgo de las máquinas hacia las personas discapacitadas.

¿Por qué la imparcialidad para con las personas con discapacidades es un problema diferente al de la imparcialidad de otros atributos más protegidos como la raza y el género?

La situación de las personas discapacitadas es mucho más diversa y compleja. Muchos sistemas consideran la raza o el género como una simple variable con un pequeño número de posibles valores. Pero cuando se trata de discapacidad, hay muchas formas diferentes y distintos niveles de gravedad. Algunas son permanentes, otras son temporales. Cualquiera de nosotros puede unirse o abandonar esta categoría en cualquier momento de nuestras vidas. Es algo dinámico.

Aproximadamente una de cada cinco personas en Estados Unidos tiene algún tipo de discapacidad. Así que, aunque es una situación muy frecuente, también es difícil abordarla, ya que no es una variable simple con un pequeño número de valores posibles. Puede haber un sistema que discrimine a las personas ciegas pero no a las sordas. Así que las pruebas de equidad se vuelven mucho más difíciles.

La información relativa a las discapacidades es muy sensible. Las personas son mucho más reacias a revelar ese tipo de datos que el género, la edad o la raza, y en algunas situaciones es incluso ilegal pedir esta información. Por lo tanto, muchas veces los datos no ofrecen información sobre alguna discapacidad de una persona. Eso también hace más difícil saber si se trata de un sistema justo.

Foto: La investigadora del equipo de accesibilidad de IBM Shari Trewin. Crédito: Cortesía de IBM.

Quería preguntar sobre eso. Como seres humanos, decidimos que la mejor manera de evitar la discriminación por discapacidad es no revelar el estado de discapacidad. ¿Por qué esto debería ser diferente para la inteligencia artificial?

Sí, eso es lo primero en lo que la gente piensa: si el sistema no sabe nada sobre la discapacidad de la gente, tenderá a ser más justo. El problema es que, a menudo, una discapacidad afecta a otra información del modelo. Por ejemplo, digamos que soy una persona que usa un lector de pantalla para acceder a internet y estoy haciendo una prueba online para solicitar el trabajo. Si el programa de prueba no está bien diseñado y no es accesible para mi lector de pantalla, tardaré más en navegar por la página para poder responder a la pregunta. Si ese tiempo no se tiene en cuenta en mi evaluación, entonces cualquiera con una discapacidad similar que use la misma herramienta se enfrentará a una desventaja sistemática, incluso aunque el sistema no sepa que yo no veo.

Entonces, dado que hay tantos matices diferentes de la discapacidad, ¿es realmente posible lograr la equidad?

Creo que el mayor reto al que se enfrentan los profesionales de la IA reside en aprender a manejar los valores atípicos, porque los sistemas de aprendizaje automático aprenden patrones, ¿no? Optimizan las normas y no tratan los valores atípicos de ninguna manera especial. Pero muchas veces las personas con discapacidad no se ajustan a la norma. El hecho de que el aprendizaje automático valore a las personas por cosas que cree similares, incluso cuando nunca haya visto a alguien similar a usted, es una limitación fundamental en términos de un trato justo para las personas con discapacidad.

Un método que combinara el aprendizaje automático con alguna solución adicional, como las reglas lógicas que se implementan en un nivel superior, sería mucho mejor. También hay algunas situaciones en las que sería de gran ayuda poner más atención en crear un conjunto de datos más diverso. Algunas personas están probando técnicas en las que se extrae el núcleo de los datos y se intenta entrenar para los valores atípicos. Otros están experimentando con diferentes técnicas de aprendizaje que optimizarían mejor los valores atípicos en lugar de la norma.

Hasta que no empezamos a pensar en la discapacidad no contemplamos la diversidad de los individuos y la importancia de los valores atípicos. Si no existe suficiente diversidad de género en un conjunto de datos, eso se puede solucionar. Pero en el caso de la discapacidad, no es tan fácil.

¿Cómo se puede superar el problema de la privacidad de datos de las personas sobre su situación de discapacidad?

Bueno, para probar si un sistema es justo hacen falta algunos datos. Las personas con discapacidad que proporcionan esos datos hacen un bien social, pero se también se enfrentan a un riesgo personal. Las personas con discapacidad pueden ser identificadas fácilmente con datos anónimos, porque son únicas. Entonces, ¿cómo mitigar eso? Todavía estamos averiguándolo.

¿Cuáles son sus mayores preocupaciones sobre este problema?

Los sistemas de inteligencia artificial se dedican a optimizar cosas, pero estas cosas no suelen centrarse en el bienestar de las personas afectadas por estas decisiones. Ese impacto debe tener mucho más protagonismo en el proceso de diseño, por lo que no solo estamos introduciendo un sistema que analiza cuánto dinero estamos ahorrando o lo bien que estamos procesando a las personas. Necesitamos nuevos sistemas de medida que incorporen el impacto en los usuarios finales, especialmente si se trata de un grupo desfavorecido.

¿Cómo se podría hacer eso?

Las pruebas de equidad son una forma de medir ese impacto. También podríamos incluir al grupo desfavorecido en el proceso de diseño y escuchar sus preocupaciones. Incluso se podría incluir directamente alguna métrica sobre la satisfacción de los participantes ​​que se podría medir a través de entrevistas o encuestas, ese tipo de cosas.

¿Cuáles son las cosas que te entusiasman en esta área de investigación?

La IA ya está cambiando el mundo para las personas con discapacidad al proporcionarles nuevas capacidades, como por ejemplo las aplicaciones que indican qué tenemos en nuestro campo de visión cuando apuntamos nuestro teléfono.

Creo que, si lo hacemos bien, hay una oportunidad real para que los sistemas de inteligencia artificial mejoren los sistemas previos. En la sociedad actual hay mucha discriminación, prejuicios y malentendidos sobre las personas con discapacidad. Necesitamos una manera de producir sistemas de IA que eliminen ese tipo de sesgos, entonces podemos comenzar a cambiar el trato hacia las personas con discapacidad y reducir la discriminación.