Twitter puede ser un lugar muy tóxico. En los últimos años, el ciberacoso y el odio que pueblan la red social la han convertido en una experiencia extremadamente desagradable y molesta para muchas personas, en particular para las mujeres y las minorías. Pero es difícil identificar  y detener estos abusos de forma automática, precisa y fiable porque, a pesar de los últimos avances en inteligencia artificial (IA), en general a las máquinas todavía les cuesta responder eficazmente a la comunicación humana. Por ejemplo, a la IA le resultar complicado captar mensajes abusivos que podrían ser sarcásticos o camuflarse tras unas pocas palabras positivas (ver Para colar un comentario abusivo al detector de Google sólo hay que ser sutil y educado).

Un nuevo estudio ha utilizado el aprendizaje automático de última generación para crear un resumen más preciso de la escala de acoso en Twitter. Su análisis confirma lo que mucha gente ya sospecha: las mujeres periodistas y políticas de minorías en esta se enfrentan a una cantidad sorprendente de insultos. 

El estudio realizado por Amnistía Internacional en colaboración con la empresa canadiense ElementAI muestra que las políticas políticas y las periodistas de color tienen un 84 % más de probabilidades de ser mencionadas en tuits abusivos o "problemáticos" que las mujeres blancas en la misma profesión. "Es simplemente desesperante. Estas mujeres representan una gran parte del funcionamiento de la sociedad", opina el director de Investigaciones de ElementAI en Londres (Reino Unido), Julien Cornebise.

Para identificar los tuits insultantes, los investigadores de ElementAI primero utilizaron una herramienta de aprendizaje automático similar a la que se usa para separar el correo no deseado. Los investigadores luego dieron a los voluntarios una combinación de tuits preclasificados y otros sin clasificar. Los tuits identificados como ofensivos se utilizaron para entrenar a una red de aprendizaje profundo. El resultado fue un sistema capaz de clasificar el abuso con una precisión impresionante, según Cornebise.

El proyecto se centró en los tuits enviados a políticos y periodistas. En el estudio, 6.500 voluntarios de 150 países ayudaron a clasificar el abuso en 228.000 tuits enviados a 778 mujeres políticas y periodistas en Reino Unido y Estados Unidos en 2017. El estudio analizó los tuits enviados a mujeres del Parlamento de Reino Unido, así como a las del Congreso y del Senado de EE. UU., y también a las mujeres periodistas de The Daily Mail, Gal Dem, The Guardian, Pink News y The Sun en Reino Unido, y Breitbart y The New York Times en Estados Unidos.

Los resultados demuestran que las 778 mujeres recibieron 1,1 millones de tuits abusivos a en este período, lo que equivale a uno cada 30 segundos. También señalan que el 7,1% de todos los tuits enviados a las mujeres en estos puestos son ofensivos. Los investigadores también usaron una herramienta Troll Patrol para verificar si un tuit era de abuso o de acoso.

Aunque el enfoque de aprendizaje profundo ofrece una gran mejora sobe los métodos existentes para detectar el abuso, los investigadores advierten que el aprendizaje automático o la inteligencia artificial no serán suficientes para identificarlo siempre. Cornebise sostiene que la herramienta es, a menudo, igual de buena que los humanos, pero también es propensa a errores. "Se requerirá un criterio humano en el futuro próximo", afirma.

Twitter ha sido ampliamente criticada por no hacer más por vigilar su plataforma. La investigadora de Amnistía Internacional del proyecto, Milena Marín, opina que la compañía debería al menos ser más transparente sobre sus métodos de control.

La experta advierte: "Troll Patrol no quiere vigilar Twitter ni forzarlo a eliminar algún contenido. Twitter debe comenzar a ser transparente sobre cómo está utilizando exactamente el aprendizaje automático para detectar abusos, y publicar la información técnica sobre los algoritmos en los que se basa".

En respuesta al informe, la representante legal de Twitter, Vijaya Gadde, se acogió al problema de cómo definir el abuso: "Me gustaría destacar que el concepto de contenido 'problemático' con el fin de clasificar el contenido es un tema que merece una discusión más profunda. Trabajamos duro para crear reglas ejecutables globalmente y como parte de ese proceso hemos comenzado a consultar a la sociedad".