Meredith Broussard, científica de datos y profesora asociada de la Universidad de Nueva York (EE UU), está bien posicionada para diseccionar el bombo continuo en torno a la inteligencia artificial (IA). Además, lleva años siendo una de las principales investigadoras en el campo del sesgo algorítmico.

Aunque su propio trabajo la deja enterrada en problemas matemáticos, Broussard ha pasado los últimos años pensando en las cuestiones que las matemáticas no pueden resolver. Así sus reflexiones se han plasmado en un libro sobre el futuro de la IA. En More than a Glitch, Broussard argumenta que estamos demasiado ansiosos por aplicar la IA a los problemas sociales de manera inapropiada y dañina. Su idea central es que el uso de herramientas técnicas para abordar problemas sociales sin tener en cuenta la raza, el género y la capacidad puede causar un daño inmenso.

Recientemente, Broussard se ha recuperado de un cáncer de mama y, después de leer la letra pequeña de sus registros médicos electrónicos, se dio cuenta de que una IA había participado en su diagnóstico. Esto es cada vez más común. Dicho descubrimiento la llevó a realizar su propio experimento para aprender más sobre lo adecuada que era la IA para el diagnóstico del cáncer.

Hemos hablado con ella sobre lo que ha descubierto, así como la problemática que plantea el uso de la tecnología por parte de la policía, los límites de la "imparcialidad de la IA" y las soluciones que la experta sugiere para algunos de los desafíos de la IA. 

Esta entrevista ha sido editada por su longitud y para su claridad.

Me llamó la atención La historia personal que comparte en el libro sobre la IA como parte de su propio diagnóstico de cáncer. ¿Podría contar a nuestros lectores qué hizo y qué aprendiste de esa experiencia?

Al inicio de la pandemia, me diagnosticaron cáncer de mama. No solo estaba confinada porque todos lo estábamos, sino también porque tuve una gran cirugía. Un día, mientras revisaba mis resultados, noté que en una de mis pruebas ponía: “Este escaneo fue leído por una IA”. Y pensé: “¿Por qué una IA analizó mi mamografía?” Nadie me había mencionado esto. Solo estaba en una parte recóndita en mi historial médico electrónico. Sentí mucha curiosidad por la última tecnología de la detección del cáncer basada en IA, así que ideé un experimento para ver si podía replicar mis resultados. Pasé mis propias mamografías por una IA de código abierto para ver si detectaba mi cáncer. Y descubrí que tenía muchos conceptos erróneos sobre cómo opera la IA en el diagnóstico del cáncer, que exploro en el libro.

[Cuando Broussard consiguió que el código funcionara, la IA predijo que su mamografía mostraba cáncer. Sin embargo, su cirujano le aseguró que el uso de la tecnología era innecesario para su diagnóstico, ya que los médicos humanos habían realizado una lectura clara y precisa de sus imágenes.]

También me di cuenta, como paciente de cáncer, que los médicos, las enfermeras y el personal de asistencia médica que me apoyaron en mi diagnóstico y recuperación fueron increíbles y cruciales. No quiero un futuro estéril y computacional donde, después de hacer una mamografía, un pequeño aparato rojo responda “Esto probablemente sea cáncer”. En realidad, nadie quiere ese futuro cuando se trata de una enfermedad potencialmente mortal, pero no hay muchos investigadores de IA que tengan sus propias mamografías.

A veces se habla de que, cuando el sesgo de la IA esté "arreglado", la tecnología será más ubicua. Usted describe este argumento es problemático. ¿Por qué?

Uno de los grandes problemas que tengo con este argumento es que, de alguna manera, la IA alcanzará su máximo potencial, y que ese sea el objetivo por el que todos deberían esforzarse. La IA solo es matemática. No creo que todo en este mundo deba regirse por las matemáticas. Los ordenadores son buenos para resolver problemas matemáticos, pero no son buenos para resolver problemas sociales. Aun así, se están aplicando a problemas sociales. Este objetivo final imaginado de “Oh, vamos a usar la IA para todo”, no es un futuro que apoye.

Usted también escribes sobre el reconocimiento facial. Hace poco escuché un argumento sobre el movimiento para prohibir el reconocimiento facial (en especial, en la vigilancia policial) que desalienta los esfuerzos para lograr que la tecnología sea más imparcial o precisa. ¿Qué piensa acerca de eso?

Sin duda, pertenezco al grupo de personas que no apoyan el uso del reconocimiento facial para la vigilancia policial. Comprendo que es desalentador para las personas que quieren utilizarlo, pero una de las cosas que hice mientras investigaba para el libro fue profundizar en la historia de la tecnología para la vigilancia policial, y lo que encontré no fue alentador.

Comencé con el excelente libro, Black Software de Charlton McIlwain [profesor de Medios, Cultura y Comunicación de la Universidad de Nueva York (EE UU)], donde escribe sobre IBM. Una empresa que quiso vender muchos ordenadores nuevos, al mismo tiempo que teníamos la denominada “Guerra contra la pobreza” en la década de 1960. [“War on poverty”, en inglés, fue el nombre oficioso de la legislación presentada por el presidente Johnson (EE UU) durante su discurso de la Unión en 1964]. Las personas que querían vender máquinas buscaban un problema al que aplicarlas, pero no entendían el problema social. Hoy en día, todavía vivimos con las desastrosas consecuencias de las decisiones que se tomaron en aquel entonces.

La policía no es mejor en el uso de la tecnología. Si estuviéramos en una situación donde todos fueran científicos informáticos capacitados en los temas sociológicos interseccionales del momento, y tuviéramos comunidades con escuelas financiadas y equidad social, entonces sería una historia diferente. Pero vivimos en un mundo con muchos problemas, y no ayuda arrojar más tecnología a los barrios negros, latinos y más pobres en EE UU, que ya están hiper-vigilados por parte de la policía.

Usted  también destaca las limitaciones de la ciencia de datos para trabajar en problemas sociales, ¡pero científica de datos! ¿Cómo se dio cuenta de las limitaciones de su propia profesión?

Me relaciono con muchos sociólogos, es más, estoy casada con uno. Algo que fue importante para mí al pensar en la interacción entre la sociología y la tecnología fue una conversación que tuve hace unos años con el sociólogo y etnógrafo Jeff Lane, también profesor asociado de la Escuela de Información de Rutgers (EE UU).

Empezamos a hablar sobre las bases de datos de las bandas, y Lane me contó algo que no sabía, que la gente tiende a salir de las bandas al crecer. No entran a la banda y se quedan allí el resto de su vida. Y pensé: “Si al hacerse mayor la gente deja de involucrarse en las bandas, apuesto a que no serán eliminados de las bases de datos de la policía”. Sé cómo la gente utiliza las bases de datos, y sé lo descuidados que somos con respecto a la actualización de las bases de datos.

Así que investigué un poco y, por supuesto, no había ningún requisito de que, al no estar involucrado en una banda, la información de alguien se elimine de la base de datos sobre bandas de la policía local. Esto me hizo pensar en el caos de nuestras vidas digitales, y la forma en la que podría cruzarse con la tecnología policial de maneras potencialmente peligrosas.

La calificación predictiva se utiliza cada vez más en las escuelas. ¿Debería preocuparnos? ¿Cuándo es apropiado aplicar algoritmos de predicción, y cuándo no?

Una de las consecuencias de la pandemia es que todos tuvimos la oportunidad de ver lo aburrido que se vuelve el mundo cuando está mediado por algoritmos. No hay casualidades. Durante la pandemia, llegué al final del motor de recomendación de Netflix, y allí no hay nada. Acabé recurriendo a todos estos métodos humanos para inyectar más casualidad en el descubrimiento de nuevas ideas.

Para mí, es una de las mejores partes de la escuela y el aprendizaje: estar en un aula con otras personas que tienen diferentes experiencias vitales. Como profesora, predecir las calificaciones de los estudiantes es lo contrario a lo que quiero en mi clase. Quiero creer en la posibilidad del cambio. Quiero que mis alumnos avancen más en su trayecto de aprendizaje. Un algoritmo que indica “Este estudiante es de esta manera, por lo que probablemente sus notas serán estas” va en contra del objetivo de la educación, en mi opinión.

A veces, nos fascina la idea de que las estadísticas predigan el futuro, por lo que entiendo la necesidad de crear máquinas que hagan el futuro menos ambiguo. Pero tenemos que vivir con lo desconocido, y dejar espacio para que cambiemos como personas.

¿Puede hablarme sobre el papel que cree que tiene la auditoría algorítmica en un futuro más seguro y equitativo?

La auditoría algorítmica es el proceso de analizar un algoritmo, y examinarlo en busca de sesgos. Es un campo muy nuevo, así que no es algo que la gente supiera hacer 20 años atrás. Pero ahora tenemos herramientas fabulosas para ello. Personas como Cathy O'Neil y Deborah Raji están realizando un gran trabajo en la auditoría de algoritmos. Tenemos métodos matemáticos para evaluar la equidad que surge de la comunidad de la conferencia FAccT (dedicada a volver más ético el campo de la IA). Soy optimista sobre el papel de la auditoría para ayudarnos a conseguir que los algoritmos sean más imparciales y equitativos.

En su libro, critica la frase "caja negra" en referencia al aprendizaje automático, argumentando que implica (de manera incorrecta) que es imposible describir el funcionamiento interno de un modelo. ¿Cómo deberíamos hablar de aprendizaje automático?

Es una buena pregunta. Todo lo que dije sobre la auditoría estalla nuestra noción de la "caja negra". Cuando empecé a explicar los sistemas computacionales, me di cuenta de que la "caja negra" es una abstracción que usamos porque es conveniente y no queremos entrar en conversaciones largas y complicadas sobre las matemáticas. ¡Es razonable! Asisto a tantos cócteles que entiendo que las personas no quieran entablar una larga conversación sobre matemáticas. Pero, si vamos a tomar decisiones sociales utilizando los algoritmos, no debemos fingir que son inexplicables.

Trato de tener en cuenta que hay cosas que son desconocidas para el mundo, y otras cosas que son desconocidas para mí. Cuando escribo sobre los sistemas complejos, intento ser clara acerca de cuál es la diferencia.

Cuando escribimos sobre los sistemas de aprendizaje automático, es tentador no entrar en detalles. Pero sabemos que estos sistemas están siendo discriminatorios. Ya ha pasado aquel tiempo cuando las personas solo decían: “Oh, no sabemos cuáles son los posibles problemas en el sistema”. Ya podemos adivinar cuáles son los posibles problemas, y hacer las preguntas difíciles. ¿Se ha evaluado este sistema por sesgo basado en el género, en la capacidad o la raza? La mayoría de las veces la respuesta es negativa, y eso tiene que cambiar.