Durante cinco meses en 2011, un robot sobre ruedas recorrió un edificio de la Universidad de Carnegie Mellon (EEUU) para ofrecer plátanos, galletas y otros tentempiés a los empleados. De ojos bastante separados y boca rosa, Snackbot tenía un aspecto amigable pero era propenso a errores. Las largas pausas durante conversaciones con los empleados eran frecuentes y a veces el sistema se colgaba.

Aun así, los trabajadores se acostumbraron a Snackbot. El autómata pedía perdón cuando se equivocaba, algo que sus creadores humanos encontraban entrañable.

Formaba parte de un experimento diseñado para determinar si las personas responderían positivamente a un robot que personalizara sus interacciones. Snackbot fue diseñado para reconocer patrones qué tentempiés prefería la mitad de la gente y hacía comentarios al respecto. Nunca aprendió las preferencias de la otra mitad.

Con el tiempo, la gente con la que más intimó Snackbot le devolvió el favor. Estas personas eran más propensas a saludarle por su nombre, elogiarle y compartir datos voluntariamente con él. Al final del ensayo, una empleada administrativa le llevó un regalo de despedida, una pila AA, aunque ella sabía que el robot no la podría utilizar, y le dijo que le echaría de menos.

Crédito: James Graham.

"Ella dijo que había empezado a parecerle real", relata la investigadora de la Universidad de Carnegie Mellon y líder del estudio, Min Kyung Lee.

En los años transcurridos desde entonces, las máquinas han aprendido a ser incluso más personales. Las tecnologías de inteligencia artificial (IA) ayudan a asistentes personales virtuales como Siri de Apple a contestar preguntas cada vez más complejas y a emplear el humor para esquivar temas poco apropiados. Los motores de recomendación alimentados por las IA de Netflix y Amazon mejoran constantemente a la hora de sugerir películas y libros.

Pero los avances para entender cómo se siente la gente acerca de este tipo de software han sido más lentos. Un reciente estudio de un grupo de 40 usuarios de Facebook encontró que más de la mitad no sabían que sus muros son compilados por algoritmo; cuando se les informó, expresaron sorpresa y en algunos casos enfado.

Tecnologías como la geolocalización alimentan sistemas de aprendizaje de máquinas con datos para generar el nivel de personalización que hemos llegado a esperar. La analista de políticas del Centro para la Democracia y la Tecnología, Ali Lange, se pregunta: "Si busco el Starbucks más próximo, ¿a quién le importa que Siri sepa dónde me encuentro?".

Pero estos sistemas de IA también toman decisiones basadas en motivos que tal vez nunca lleguemos a comprender. Por eso los investigadores, abogados de derechos del consumidor y reguladores han empezado a preocuparse por que los sesgos, intencionados o no, de los sistemas de aprendizaje de máquinas puedan estimular patrones de discriminación algorítmica con causas que podrían resultar difíciles de identificar. Esto no es algo teórico: los estudios ya han encontrado pruebas de sesgos en la publicidad en línea, las acciones de reclutamiento y las tarifas de servicios, todos ellos impulsados por algoritmos supuestamente neutros (ver Confiamos ciegamente en algoritmos sesgados por sus propios desarrolladores).

En un estudio, la profesora de la Universidad de Harvard (EEUU) Latanya Sweeney examinó los anuncios de Google AdSense que se mostraron durante búsquedas de nombres asociados con bebés blancos (Geoffrey, Jill, Emma) y de nombres asociados con bebés afroamericanos (DeShawn, Darnell, Jermaine). Encontró que los anuncios que contenían la palabra "detención" se mostraron al lado de más del 80% de las búsquedas basadas en nombres afroamericanos pero al lado de menos del 30% de las búsquedas de nombres blancos. A Sweeney le preocupa que la tecnología de publicidad de Google perpetúe sesgos raciales puedan socavar las posibilidades de una persona afroamericana en una competición, tanto si la recompensa final es un premio, una cita o un puesto de trabajo.

Los fundadores de nuevas empresas como BlueVine, ZestFinance y Affirm, que están empleando análisis impulsados por IA para aprobar préstamos y ofrecer servicios de crédito, afirman que sus empresas están especialmente adaptadas a los peligros regulatorios de las prácticas financieras discriminatorias.

Aun así, las prácticas varían. Los algoritmos que alimentan Affirm, una empresa fundada por el cofundador de PayPal Max Levchin, emplean datos de redes sociales para ayudar a establecer la identidad de un cliente pero no para determinar la capacidad de un solicitante de cumplir con los pagos de un préstamo. El fundador de ZestFinance y el antiguo director informático de Google, Douglas Merrill, se niega totalmente a emplear datos procedentes de redes sociales. Lo considera "una idea perturbadora".

Affirm y ZestFinance han sido construidas sobre la idea de que, al estudiar decenas de miles de puntos de datos, los programas de aprendizaje de máquinas pueden aumentar el número de personas consideradas solventes. En otras palabras, los algoritmos alimentados con tantos datos tan diversos estarán menos predispuestos a la discriminación que las tradicionales prácticas humanas basadas en un número de factores mucho más limitado. Entre los descubrimientos logrados por los algoritmos de ZestFinance: los ingresos no son tan buen indicador de la solvencia como la combinación de ingresos, gastos y el coste de vida en una ciudad determinada. El algoritmo también toma nota de la gente que rellena una solicitud de préstamos totalmente en mayúsculas, ya que su modelo ha encontrado que representan peores candidatos para un crédito que la gente que rellena las solicitudes sólo en minúsculas.

¿Podrían los datos con sesgos no reconocidos, al ser introducidos en tales sistemas, convertirlos inadvertidamente en discriminatorios? La imparcialidad es uno de los objetivos más importantes, según Merril. Para protegerse contra la discriminación, su empresa ha desarrollado herramientas de aprendizaje de máquinas para poner a prueba sus propios resultados. Pero para los consumidores, incapaces de desentrañar todas las complejidades de estos secretos programas multifacéticos, resultará difícil saber si han recibido un trato justo.