Como muchos espacios online, League of Legends, actualmente el videojuego en línea más popular a nivel mundial, es un campo de cultivo para el lenguaje y los comportamientos abusivos. Apoyado por el anonimato y amplificado dentro del crisol caliente de un deporte competitivo de equipo, esta conducta ha supuesto tal problema para su creador, Riot Games, que la empresa ahora emplea un equipo dedicado de científicos y diseñadores para encontrar maneras de mejorar las interacciones entre los jugadores del videojuego.

Durante el último par de años, el equipo ha experimentado con cantidad de sistemas y técnicas, apoyados en el aprendizaje de máquinas, diseñados para monitorizar las comunicaciones entre jugadores, penalizar los comportamientos negativos y premiar el buen comportamiento. Los resultados han sido llamativos, afirma Jeffrey Lin, el principal diseñador de sistemas sociales de Riot Games. El software ha monitorizado varios millones de casos de supuestos comportamientos abusivos. El 92% de los jugadores que han sido pillados utilizando lenguaje supuestamente abusivo con otros jugadores no ha vuelto a incidir. Lin, que es un neurocientífico cognitivo, cree que las técnicas del equipo se pueden aplicar fuera del contexto de los videojuegos. Cree que Riot Games puede haber creado algo parecido a un antídoto para la toxicidad online, independientemente de dónde se produzca.

El proyecto arrancó hace varios años cuando el equipo introdujo un sistema de gobernanza llamada, en concordancia con el tema fantástico del juego, el Tribunal. El videojuego identificaba supuestos casos de lenguaje abusivo y creaba un "expediente" de la interacción. Estos expedientes entonces se presentaban a la comunidad de jugadores (aproximadamente 67 millones de usuarios únicos), que eran invitados a revisar los registros de chat del juego y votar acerca de si consideraban aceptables los comportamientos demostrados. En general, el sistema fue muy preciso, dice Lin. De hecho, el 98% de los veredictos de la comunidad concordaron con los del equipo interno de Riot Games.

Varios millones de casos se trataron de esta manera algo laboriosa. Pronto el equipo de Lin empezó a observar patrones en el lenguaje empleado por jugadores tóxicos. Para ayudar a optimizar el proceso, decidieron aplicar técnicas de aprendizaje de máquinas a los datos. "Resultó tener un éxito tremendo a la hora de segmentar lenguaje positivo y negativo en los 15 idiomas oficiales de League of Legends", afirma Lin.

La nueva versión del sistema, ahora gobernado por la tecnología en lugar de otros jugadores, ha aumentado la eficiencia a la hora de proporcionar comentarios e imponer consecuencias para los comportamientos tóxicos dentro del juego. Ahora puede proporcionar los comentarios a los jugadores en cinco minutos, cuando anteriormente podía llevar hasta una semana.

Lin afirma que el sistema mejoró de forma dramática lo que la empresa llama "las tasas de reforma". Un jugador que ha recibido una penalización con anterioridad, como la suspensión de encuentros de calificación, se considera reformado si evita penalizaciones posteriores durante un período de tiempo. "Cuando añadimos mejores comentarios a las penalizaciones e incluimos pruebas como los registros del chat, las tasas de reforma se elevaron desde el 50% hasta el 65%", dice. "Pero cuando el aprendizaje de máquinas empezó a proporcionar comentarios más rápidos con pruebas, las tasas de reforma se alzaron hasta un récord del 92%".

Uno de los retos a los que se enfrenta el sistema es discernir el contenido. Como en cualquier deporte de equipo, los jugadores a menudo establecen el compañerismo mediante bromas o sarcasmos que en otro contexto podrían considerarse antipáticos o agresivos. Una máquina suele fracasar a la hora de identificar el sarcasmo. De hecho, quizás esto represente la barrera más importante para el uso del aprendizaje de máquinas en la lucha contra abusos online. "Es bastante justo decir que los [sistemas] de inteligencia artificial que entienden el lenguaje rinden mejor cuando la información contextual que se requiera para computar la respuesta correcta es mínima", explica Chris Dyer, un profesor adjunto de la Universidad de Carnegie Mellon (EEUU) que trabaja en el procesamiento del lenguaje natural. "Los problemas que requieran la integración de muchas informaciones del contexto en el que se realiza un comentario son mucho más difíciles de resolver, y el sarcasmo tiene una dependencia extrema del contexto".

Actualmente, el equipo de Lin intenta resolver este problema con controles y equilibrios adicionales. Incluso cuando el sistema identifique que un jugador ha demostrado un comportamiento tóxico, otros sistemas son consultados para reforzar o vetar el resultado. Por ejemplo, intentará validar cada denuncia que realice un jugador para determinar su "precisión histórica de denuncias". "Puesto que trabajan múltiples sistemas en conjunto para proporcionar consecuencias para los jugadores, actualmente estamos observando una tasa aceptable de falsos positivos de uno entre 5.000", dice Lin.

Para realmente controlar los abusos, Riot Games diseñó penalizaciones y desincentivos para persuadir a los jugadores para que modifiquen sus comportamientos. Por ejemplo, puede limitar los recursos de chat de los jugadores que se comporten de forma abusiva, o requerir que los jugadores completen encuentros sin calificación sin incidente antes de poder disputar juegos clasificatorios. La empresa también premia a los jugadores respetuosos con refuerzos positivos.

Lin cree firmemente que las lecciones que su equipo ha aprendido mediante su trabajo tienen un significado más amplio. "Uno de los descubrimientos cruciales de las investigaciones es que el comportamiento tóxico no necesariamente proviene de personas terribles; proviene de gente que tiene un mal día", explica Justin Reich, un investigador científico del Centro Berkman de la Universidad de Harvard (EEUU), que ha estado estudiando el trabajo de Riot Games. "Eso significa que nuestras estrategias para atajar los comportamientos tóxicos online no pueden dirigirse sólo a los troles experimentados; deben dar cuenta de nuestra tendencia humana y colectiva de permitir que lo peor de nosotros mismos surja bajo el anonimato de internet".

No obstante, Reich cree que el trabajo de Lin demuestra que los comportamientos tóxicos no representan una parte integrante de la web, sino un problema que se puede atajar mediante una mezcla de ingeniería, experimentación y la implicación de la comunidad. "Los retos a los que nos enfrentamos en League of Legends se pueden observar en cualquier juego, plataforma, comunidad o foro online, por lo que creemos que nos encontramos en un punto decisivo de la línea temporal de las comunidades y sociedades online", dice Lin. "Por esto, hemos sido muy abiertos a la hora de compartir nuestros datos y buenas prácticas con la industria, y esperamos que otros estudios y empresas examinen estos resultados y se den cuenta de que la toxicidad online no es un problema imposible después de todo".