Sucede demasiado a menudo que la gente juzga precipitadamente a partir de la forma de hablar del interlocutor. Algunos sistemas de inteligencia artificial (IA) también están aprendiendo a tener prejuicios, lo que perjudica a determinados dialectos. Los expertos en el tema advierten de que a medida que los sistemas de IA de reconocimiento de voz se vuelven cada vez más comunes, algunas minorías podrían ser automáticamente discriminadas por las máquinas.

Cualquier persona con un acento fuerte o inusual que haya utilizado Siri o Alexa sabe lo que es tener dificultades para hacerse entender por ellas. Esto se debe a que los sistemas de reconocimiento de voz utilizan tecnología de lenguaje natural para analizar los contenidos del habla, que ha menudo se apoyan en algoritmos entrenados con datos de ejemplos. Si no hay suficientes casos de un acento particular o coloquial, puede que estos sistemas simplemente no consigan entenderlo.

El problema puede ser más generalizado y pernicioso de lo que podría parecer. Ahora, la tecnología de lenguaje natural impulsa las interacciones automatizadas con clientes a través de sistemas telefónicos automatizados o de chatbots. También se utiliza para extraer la opinión pública de la web y de las redes sociales, y para examinar documentos escritos y obtener información útil. Esto significa que los servicios y productos construidos sobre este tipo de sistemas ya pueden estar discriminando injustamente a ciertos grupos.

El profesor asistente de la Universidad de Massachusetts (UMass) en Amherst (EEUU) Brendan O'Connor y uno de sus estudiantes graduados Su Lin Blodgett han examinado el uso del lenguaje en Twitter. Utilizando el filtrado demográfico, los investigadores recolectaron 59,2 millones de tuits con una alta probabilidad de contener jerga o coloquialismos afroamericanos. A continuación, probaron varias herramientas de procesamiento de lenguaje natural en este conjunto de datos, con el objetivo de ver cómo tratarían estas declaraciones. Entre sus resultados, descubrieron que una popular herramienta clasificó estas publicaciones como danesas con un alto nivel de confianza.

"Si analizas las opiniones de la gente en Twitter sobre un político pero no tienes en cuenta lo que dicen los afroamericanos o los jóvenes, el asunto es problemático", indica O'Connor. Los investigadores también probaron varias API populares basadas en el aprendizaje automático para analizar el texto en busca de su significado y sus emociones, y encontraron que estos sistemas también tenían dificultades. El profesor añade: "Si compras un programa para analizar sentimientos a alguna empresa, ni siquiera puede saber qué sesgos tiene. Realmente no tenemos mucha auditoría ni conocimiento sobre estas cosas".

O'Connor alerta de que el problema se extiende a cualquier sistema que use lenguaje, incluyendo motores de búsqueda.

Los aspectos injustos que surgen del uso de algoritmos de inteligencia artificial están llamando la atención de algunos sectores, ya que estas herramientas se utilizan cada vez con más frecuencia. Un ejemplo polémico de este posible sesgo es un algoritmo patentado llamado Compass, que se utiliza para decidir si se debe conceder libertad condicional a los reclusos. El funcionamiento del algoritmo es desconocido, pero hay investigaciones que sugieren que está sesgado en contra de los internos negros. Sin embargo, según algunos expertos, el problema puede ser más grave de lo que parece, ya que afectaría a un número creciente de decisiones en finanzas, atención médica y educación (ver Los algoritmos sesgados están por todas partes, y parece que a nadie le importa).

Los investigadores de UMass presentaron su trabajo en un taller dedicado a explorar el tema del sesgo en inteligencia artificial. El evento, Equidad y Transparencia en Aprendizaje Automático, fue parte de una conferencia de ciencias de datos más grande llevada a cabo este año, pero se convertirá en una conferencia independiente en 2018. El profesor asistente en Cornell y cofundador del evento, Solon Barocas, afirman que el campo está en crecimiento, con cada vez más investigadores explorando el asunto del sesgo en los sistemas de AI.

El profesor asistente de la Universidad de Stanford (EEUU) que estudia la justicia algorítmica y la política pública Shared Goel sostiene que el problema no siempre es sencillo. En su opinión, puede ser excesivamente simplista tildar a los algoritmos de sesgados, ya que pueden funcionar totalmente según lo previsto, hacer predicciones que sean exactas y simplemente estar reflejando las tendencias sociales más amplias. "Es mejor describir lo que un algoritmo está haciendo, la razón por la que lo está haciendo, y luego decidir si eso es lo que queremos que haga", concluye Goel.