.

Photo by Iris Wang on Unsplash

Tecnología y Sociedad

El lado oscuro del software que vigila a los alumnos para que no copien

1

La pandemia ha popularizado las herramientas que vigilan a los estudiantes durante los exámenes gracias a la inteligencia artificial y la biometría. Sin embargo, sus algoritmos tienden a perpetuar discriminaciones como el racismo y el sexismo, y suponen una invasión de la privacidad de los alumnos 

  • por Shea Swauger | traducido por Ana Milutinovic
  • 13 Agosto, 2020

La pandemia del coronavirus (COVID-19) ha sido una bendición para la industria de supervisión de exámenes. Media docena de empresas en EE. UU. afirman que su software es capaz de detectar y prevenir con precisión que se copie en los exámenes online. La demanda de programas como Examity HonorLock Proctorio ProctorURespondus ha crecido rápidamente desde que los institutos y las universidades empezaron con las clases a distancia.

Aunque no hay un recuento oficial, parece razonable pensar que cada mes se realizan millones de pruebas supervisadas por algoritmos en todo el mundo. Proctorio confirmó a The New York Times en mayo que su negocio había aumentado un 900 % durante los primeros meses de la crisis, hasta el punto de que la compañía llegó a supervisar 2,5 millones de exámenes en todo el mundo solo en abril.

Soy bibliotecaria universitaria y he visto de cerca el impacto de estos sistemas. El centro donde trabajo, la Universidad de Colorado en Denver (EE. UU.), tiene un contrato con Proctorio.

Me he dado cuenta que la supervisión algorítmica es una tecnología de vigilancia moderna que refuerza la supremacía blanca, el sexismo, la discriminación contra personas discapacitadas y la transfobia. El uso de estas herramientas es una invasión de la privacidad de los alumnos y, a menudo, una violación de los derechos civiles.

Cuando un estudiante realiza un examen supervisado por un algoritmo, funciona así: al inicio, el software comienza a grabar la cámara del ordenador del alumno, el audio y los sitios web que visita. Monitoriza su cuerpo y lo observa durante todo el examen, siguiendo sus movimientos para identificar lo que considera comportamientos para copiar. Si hace algo que el software considere sospechoso, alertará a su profesor para que vea la grabación y le proporcionará una probabilidad clasificada por colores de su mala conducta académica.

Dependiendo de la empresa que haya creado el software, se utiliza alguna combinación de aprendizaje automático, inteligencia artificial (IA) y biometría (incluido reconocimiento facial, detección facial o seguimiento ocular) para llevar todo esto a cabo. El problema consiste en que se ha demostrado que el reconocimiento y detección facial son racistassexistastransfóbos en cada vez más y más, y más casos.

En general, la tecnología tiene un patrón para reforzar la opresión estructural como el racismo y el sexismo. Ahora, estos mismos sesgos están apareciendo en el software de supervisión de exámenes que perjudica desproporcionadamente a los alumnos.

Una mujer negra de mi universidad me dijo que cada vez que usaba el software de supervisión de exámenes de Proctorio, siempre le pedía que iluminara más su rostro. El software no lograba comprobar su identidad y le rechazaba el acceso a los exámenes con tanta frecuencia que tuvo que acudir a su profesor para cambiar de estrategia. Sus compañeros blancos nunca tuvieron este problema.

Pueden ocurrir casos similares de discriminación si un estudiante es transgénero o de género no binario. Pero si se trata de un hombre blanco (como son la mayoría de los desarrolladores de software de reconocimiento facial), probablemente le irá todo bien.

Los estudiantes a cargo de niños también son penalizados por estos sistemas. Los que intentan responder a correos electrónicos mientras cuidan de niños, saben lo imposible que puede ser contar con unos pocos minutos ininterrumpidos frente al ordenador. Pero varios programas de supervisión avisarán que los ruidos en la habitación o que alguien que salga de la vista de la cámara resulta algo negativo. Eso significa que los alumnos con problemas médicos que deben usar el baño o tomar medicamentos con frecuencia serían considerados sospechosos de manera similar.

Más allá de todas esas formas en las que el software de supervisión puede discriminar a los estudiantes, el control algorítmico también supone una importante invasión de la privacidad. Estos productos graban a los alumnos en sus casas y, a menudo, les exigen que hagan "escaneos de su habitación", que implican el uso de su cámara para mostrar su entorno. En muchos casos, los profesores pueden acceder a las grabaciones de sus alumnos en cualquier momento, e incluso descargarlas en sus dispositivos personales. También pueden ver la ubicación de cada estudiante en función de su dirección IP.

La privacidad es primordial para los bibliotecarios como yo porque los usuarios nos confían sus datos. Después del 11 de septiembre, cuando la Ley Patriótica autorizó al Departamento de Seguridad Nacional de Estados Unidos a acceder a los registros de usuarios de las bibliotecas en su búsqueda de terroristas, muchos bibliotecarios comenzaron a usar software que borraba el registro de un usuario después de devolver un libro. Los productos que violan la privacidad de las personas y las discriminan van en contra de mi ética profesional, y es muy preocupante ver estos productos adoptados con entusiasmo por las instituciones de educación superior.

Este entusiasmo sería un poco más comprensible si hubiera alguna prueba de que estos programas realmente han logrado lo que prometían. Que yo sepa, no existe ni un solo estudio controlado o revisado por pares que muestre que el software de supervisión detecta o previene que se copia de manera efectiva. Dado que las universidades se enorgullecen de tomar decisiones basadas en pruebas, se trata de un descuido flagrante.

Afortunadamente, existen movimientos en curso para prohibir el software de supervisión y las tecnologías de reconocimiento facial en los campus, así como proyectos de ley del Congreso estadounidense para prohibir que el Gobierno federal de EE. UU. utilice el reconocimiento facial. Pero incluso si se prohibiera la tecnología de reconocimiento facial, el software de supervisión aún podría existir como un programa de rastreo de los movimientos de los ojos y del cuerpo de los estudiantes. Si bien eso podría resultar menos racista, aún discriminaría a las personas con discapacidades, las madres que amamantan y las personas neuroatípicas. Estos productos no se pueden reformar; se deberían descartar.

Hacer trampa no es una amenaza para la sociedad que las empresas de supervisión de exámenes quieren que pensemos. No diluye el valor de los títulos ni degrada la reputación institucional, y los estudiantes no están tratando de copiar para convertirse en un cirujano. La tecnología no inventó las condiciones para hacer trampa y no lo detendrá. Lo mejor que podemos hacer en la educación superior es empezar con la idea radical de confiar en los estudiantes. Elijamos la compasión sobre la vigilancia.

Shea Swauger es bibliotecaria e investigadora en la Universidad de Colorado en Denver (EE. UU.)

 

Tecnología y Sociedad

Los avances tecnológicos están cambiando la economía y proporcionando nuevas oportunidades en muchas industrias.

  1. La nueva baza de China para presionar a EE UU pasa por restringir la exportación de litio

    China es una potencia en energías limpias, especialmente en las cadenas de suministro de baterías. Por ello, las tensiones y restricciones comerciales entre China y EE UU podrían poner en riesgo el avance en tecnologías climáticas y el desarrollo de vehículos eléctricos

  2. La suplantación de identidad amenaza la credibilidad de Bluesky

    Varios usuarios han sido víctimas de suplantación de identidad en Bluesky, una situación que pone de manifiesto un problema relacionado con el auge de cuentas falsas que, si no se aborda, podría dañar la reputación y credibilidad de la plataforma

    La suplantación de identidad amenaza la credibilidad de Bluesky
  3. Arati Prabhakar, directora saliente de Ciencia y Tecnología de EE UU: "Queremos entender si la IA es segura, pero aún no sabemos cómo"

    La directora de la Oficina de Política Científica y Tecnológica (OSTP) de la Casa Blanca, que probablemente dejará su cargo al finalizar la administración Biden, reflexiona sobre aspectos como los riesgos de la IA, las políticas migratorias y la Ley de Chips

    Arati Prabhakar, directora de Ciencia y Tecnología de EE UU