Durante los últimos cuatro años, el estudiante de doctorado en la Universidad Georgia Tech (EE. UU.) Shagun Jhaver, cuya investigación se centra en la moderación de contenido, ha moderado varios subreddits, explorando diligentemente las páginas y bloqueando las publicaciones que violaban las reglas sociales o eran totalmente ofensivas.

Jhaver quiso saber si un moderador automático podría ayudarle a ahorrar no solo tiempo sino también el desgaste mental de examinar contenido psicológicamente desagradable. Así que, junto con tres colegas, se propuso a averiguar si un moderador automático, en este caso, AutoMod, realmente funcionaba.

El equipo moderó personalmente varias páginas en Reddit y luego habló con otros 16 moderadores de algunos de los subreddits más populares de esta página web, incluyendo a r / photoshopbattles, r / space, r / explainlikeimfive, r / oddlysatisfying y r / politics, cada uno de los cuales tiene millones de suscriptores. Los 16 moderadores humanos confían en AutoMod para ayudarles en su tarea. Jhaver ha presentado su trabajo en la reciente Conferencia de ACM sobre Trabajo Cooperativo y Computación Social con apoyo informático.

Las plataformas de redes sociales como Facebook, Instagram y YouTube llevan mucho tiempo dependiendo de los moderadores humanos que analizan manualmente el contenido y eliminan cualquier material violento y ofensivo, desde discursos de odio racistas y sexistas hasta vídeos de tiroteos masivos. Los moderadores suelen trabajar por contrato, con un salario mínimo y pocos beneficios, y pueden pasar muchas horas expuestos a un contenido que afecta gravemente su salud mental.

Los moderadores automáticos o automoderadores son un intento de mitigar el tedio y los efectos negativos de este trabajo. AutoMod, desarrollado por Redditor Chad Birch para aumentar su capacidad para moderar el canal r / gaming, es una herramienta basada en reglas para identificar las palabras que violan las políticas de publicación de una determinada página web. Desde su creación se ha utilizado ampliamente: Reddit lo adoptó en todo su sitio web en 2015, y las enormemente populares plataformas de juegos online Twitch y Discord hicieron lo mismo poco después.

Sin embargo, no está claro si AutoMod realmente genera un ahorro de tiempo. Por un lado, los automoderadores son muy buenos en lo que hacen: si están programados para encontrar palabrotas, las encontrarán y bloquearán las publicaciones que las contengan sin falta. Pueden enviar notificaciones a los que publicaron ese contenido problemático, algo que Jhaver considera "educativo", para que los autores entiendan por qué se eliminó su contenido.

Este trabajo no es nada fácil. Como señalan Jhaver y sus colegas, entre marzo y octubre de 2018 se eliminaron cerca del 22 % de todas las publicaciones en Reddit. Eso equivale a alrededor de 17,4 millones de publicaciones en ese período de tiempo.

Pero, ¿y si la palabra censurada es importante para el contexto de una publicación? Un ejemplo tuvo lugar durante el debate de 2016 sobre el infame comentario del entonces candidato a presidente de EE. UU. Donald Trump sobre cómo tocar las partes íntimas de una mujer. Tales publicaciones serían censuradas debido a su lenguaje ofensivo, a pesar de que ese lenguaje es el objetivo principal de la publicación. Jhaver asegura que esto frustra a los usuarios, que luego tienen que volver a pedir a los moderadores que restablezcan la publicación.

Y en un mundo en el que el contenido problemático se expresa cada vez más en forma de memes ofensivos, transmisiones en directo de disparos u otro contenido visual sin texto, el enfoque de AutoMod de encontrar palabras clave supone una gran desventaja.

El moderador de los grandes subreddits r / pics y r / aww, Robert Peck, lo sabe muy bien. Cada una de esas páginas se basa en imágenes, y cada una tiene millones de seguidores que publican mucho más contenido del que alguien podría revisar de forma razonable. Aun así, afirma que AutoMod le ayuda a pesar de que no puede analizar las imágenes. El moderador detalla: "Los usuarios agregan descriptores a las imágenes, y podemos verificar esos textos. Buscamos los aumentos de cuentas o spam que tengan cuentas que automaticen las publicaciones. Suelen usar paréntesis. Podemos decirle a AutoMod que busque esos patrones".

Nos guste o no, AutoMod y otros automoderadores similares parecen ser el único futuro de la moderación de las plataformas sociales. Probablemente siempre serán imperfectos, porque las máquinas aún están muy lejos de comprender realmente el lenguaje humano. Pero de esto se trata en la automatización: ahorrar tiempo a las personas en tareas tediosas o desagradables. La posibilidad de centrarse en las publicaciones que requieren un toque humano hace que el trabajo de un moderador sea mucho más valioso, y permite que tanto los moderadores como los que publican tengan un mejor diálogo.

Aunque estos sistemas no resolverán el problema de las personas que publican contenido desagradable, malicioso o perjudicial, que seguirá siendo uno de los problemas más espinosos que afectan a internet actual, sí que ayudan. Peck agradece la capacidad de AutoMod de ayudarle a gestionar "publicaciones en grupos". Y concluye: "Es una tecnología poderosa y bastante fácil de usar, es mucho más difícil programar un bot equivalente. [AutoMod] es mi herramienta más potente, y estaría perdido sin ella".