A principios de este mes, Mark Zuckerberg anunció que Meta reducirá sus esfuerzos de moderación de contenido y eliminará la verificación de hechos en los EE. UU. a favor del enfoque más "democrático" que X (anteriormente Twitter) llama Community Notes, revirtiendo las protecciones que, según él, se habían desarrollado solo en respuesta a la presión de los medios y el gobierno .

La medida está haciendo sonar las alarmas, y con razón. Meta ha dejado tras de sí un reguero de controversias en materia de moderación, desde la moderación excesiva de imágenes de mujeres amamantando hasta la moderación insuficiente de los discursos de odio en Myanmar , contribuyendo al genocidio de los musulmanes rohingya. Mientras tanto, poner fin a la verificación profesional de los hechos crea la posibilidad de que la desinformación y el odio se propaguen sin control.

La moderación en Internet se inició con la contratación de voluntarios, mucho antes de que los gigantes de las redes sociales se dieran cuenta de que era necesario contar con esfuerzos centralizados. Y la moderación voluntaria puede tener éxito, ya que permite el desarrollo de regulaciones a medida alineadas con las necesidades de comunidades particulares. Pero sin un compromiso y una supervisión significativos por parte de Meta, un sistema de este tipo no puede competir con la cantidad de contenido que se comparte en las plataformas de la empresa y con la velocidad con la que se comparte. De hecho, todavía no se sabe con certeza qué tan bien funciona en X, que es utilizada por el 21% de los estadounidenses (las de Meta son significativamente más populares: solo Facebook es utilizado por el 70% de los estadounidenses, según Pew ).

Community Notes, que comenzó en 2021 como Birdwatch, es un sistema de moderación impulsado por la comunidad en X que permite a los usuarios que se registran en el programa agregar contexto a las publicaciones. Que los usuarios habituales proporcionen una verificación pública de hechos es relativamente nuevo y, hasta ahora, los resultados son mixtos. Por ejemplo, los investigadores han descubierto que los participantes tienen más probabilidades de cuestionar el contenido con el que no están de acuerdo políticamente y que marcar el contenido como falso no reduce la participación , pero también han descubierto que las notas suelen ser precisas y pueden ayudar a reducir la propagación de publicaciones engañosas .

Soy un moderador de la comunidad que investiga la moderación de la comunidad. Esto es lo que he aprendido sobre las limitaciones de confiar en voluntarios para la moderación y lo que Meta debe hacer para tener éxito:

1. El sistema no detectará falsedades y podría amplificar contenidos de odio.

Existe un riesgo real bajo este estilo de moderación de que sólo las publicaciones sobre temas que mucha gente conoce serán marcadas de manera oportuna, o incluso no serán marcadas. Considere cómo una publicación con una foto de un hongo mortal y el título “Sabroso” podría ser manejada bajo la moderación al estilo de Notas de la Comunidad. Si un experto en micología no ve la publicación, o la ve sólo después de que ha sido ampliamente compartida, puede que no sea marcada como “Venenosa, no comer”, al menos no hasta que sea demasiado tarde. Las áreas temáticas que son más esotéricas serán submoderadas. Esto podría tener graves impactos tanto en las personas (que pueden comer un hongo venenoso) como en la sociedad (si una falsedad se difunde ampliamente).

Fundamentalmente, las notas de la comunidad de X no son visibles para los lectores cuando se agregan por primera vez. Una nota se vuelve visible para la base de usuarios más amplia solo cuando suficientes contribuyentes están de acuerdo en que es precisa al votar por ella. Y no todos los votos cuentan. Si una nota es calificada solo por personas que tienden a estar de acuerdo entre sí, no aparecerá. X no hace visible una nota hasta que haya un acuerdo de personas que han estado en desacuerdo con las calificaciones anteriores. Esto es un intento de reducir el sesgo, pero no es infalible. Todavía se basa en las opiniones de las personas sobre una nota y no en hechos reales. A menudo, lo que se necesita es experiencia.

Modero una comunidad en Reddit llamada r/AskHistorians. Es un sitio de historia pública con más de 2 millones de miembros y está moderado de manera muy estricta. Vemos que la gente se equivoca todo el tiempo. A veces, se trata de errores sencillos, pero a veces hay contenido odioso que requiere que los expertos lo reconozcan. Una vez, una pregunta que contenía un mensaje secreto sobre la negación del Holocausto se escapó de la revisión durante horas y terminó acumulando cientos de votos positivos antes de que un experto de nuestro equipo la detectara. Cientos de personas (probablemente con patrones de votación y opiniones muy diferentes sobre muchos temas) no solo pasaron por alto la naturaleza problemática del contenido, sino que decidieron promoverlo mediante votos positivos. Esto también sucede con las respuestas a las preguntas. Las personas que no son expertas en historia votarán a favor de respuestas obsoletas que suenen veraces y que en realidad no sean correctas. Por el contrario, votarán en contra de respuestas buenas si reflejan puntos de vista difíciles de aceptar.

r/AskHistorians funciona porque la mayoría de sus moderadores son historiadores expertos. Si Meta quiere que su programa, al estilo de Community Notes, funcione, debe asegurarse de que las personas con los conocimientos necesarios para realizar evaluaciones vean las publicaciones y que se tenga en cuenta la experiencia en las votaciones, especialmente cuando existe una discrepancia entre la comprensión común y el conocimiento de los expertos.

2. No funcionará sin voluntarios bien apoyados.

Los moderadores de contenido pagos de Meta revisan lo peor de lo peor , incluidos los contenidos sangrientos, el abuso y la explotación sexuales y la violencia. Como resultado, muchos han sufrido traumas severos, lo que ha llevado a demandas judiciales y esfuerzos de sindicalización . Cuando Meta recorte los recursos de sus esfuerzos de moderación centralizada, dependerá cada vez más de los voluntarios no remunerados mantener la plataforma segura.

Los moderadores de la comunidad no tienen un trabajo fácil. Además de estar expuestos a contenido horrible, como miembros identificables de sus comunidades, también suelen ser objeto de acoso y abuso, algo que experimentamos a diario en r/AskHistorians. Sin embargo, los moderadores de la comunidad moderan solo lo que pueden manejar. Por ejemplo, si bien yo manejo rutinariamente el discurso de odio y el lenguaje violento, como moderador de una comunidad basada en texto rara vez estoy expuesto a imágenes violentas. Los moderadores de la comunidad también trabajan en equipo. Si me expongo a algo que encuentro perturbador o si alguien está siendo abusivo, mis colegas toman el control y brindan apoyo emocional. También me preocupo profundamente por la comunidad que modero. El cuidado de la comunidad, los colegas que brindan apoyo y la autoselección ayudan a mantener la moral de los moderadores voluntarios alta (más o menos).

No está claro cómo se estructurará el nuevo sistema de moderación de Meta. Si los voluntarios eligen qué contenido denunciar, ¿se repetirá el problema de X, en el que el partidismo afecta a qué publicaciones se denuncian y cómo? Tampoco está claro qué tipo de apoyo proporcionará la plataforma. Si los voluntarios se ven expuestos a contenido que les resulta molesto, ¿Meta ( la empresa que actualmente está siendo demandada por dañar la salud mental de sus moderadores de contenido pagos) proporcionará ayuda social y psicológica? Para tener éxito, la empresa deberá asegurarse de que los voluntarios tengan acceso a dichos recursos y puedan elegir el tipo de contenido que moderan (al tiempo que se asegura de que esta autoselección no influya indebidamente en las notas).

3. No puede funcionar sin protecciones ni barandillas.

Las comunidades en línea pueden prosperar cuando están dirigidas por personas que se preocupan profundamente por ellas. Sin embargo, los voluntarios no pueden hacerlo todo por sí solos. La moderación no consiste únicamente en tomar decisiones sobre lo que es “verdadero” o “falso”. También consiste en identificar y responder a otros tipos de contenido dañino. La decisión de Zuckerberg se suma a otros cambios en sus estándares comunitarios que debilitan las reglas en torno al contenido de odio en particular. La moderación de la comunidad es parte de un ecosistema más amplio y se vuelve significativamente más difícil de llevar a cabo cuando ese ecosistema se ve contaminado por contenido tóxico.

Comencé a moderar r/AskHistorians en 2020 como parte de un proyecto de investigación para aprender más sobre las experiencias detrás de escena de los moderadores voluntarios. Si bien Reddit había comenzado a abordar algunos de los odios más extremos en su plataforma al prohibir ocasionalmente comunidades enteras , se permitió que muchas comunidades que promovían la misoginia, el racismo y todas las demás formas de intolerancia prosperaran y crecieran. Como resultado, mis primeras notas de campo están llenas de ejemplos de discurso de odio extremo, así como de acoso y abuso dirigidos a los moderadores. Era difícil seguirles el ritmo.

Pero a mediados de 2020, algo sucedió. Después de una declaración insulsa sobre el racismo por parte del director ejecutivo Steve Huffman, los moderadores del sitio cerraron sus comunidades en protesta . Y hay que reconocer que la plataforma escuchó. Reddit actualizó sus estándares comunitarios para prohibir explícitamente el discurso de odio y comenzó a aplicar la política de manera más activa. Si bien el odio sigue siendo un problema en Reddit, veo mucho menos ahora que en 2020 y 2021. La moderación de la comunidad necesita un apoyo sólido porque los voluntarios no pueden hacerlo todo por sí solos. Es solo una herramienta en la caja.

Si Meta quiere garantizar que sus usuarios estén a salvo de estafas, explotación y manipulación, además del odio, no puede depender únicamente de la verificación de datos por parte de la comunidad. Pero mantener a salvo a la base de usuarios no es lo que pretende esta decisión. Es una maniobra política para congraciarse con la nueva administración. Meta podría crear el programa de verificación de datos comunitario perfecto, pero como esta decisión va acompañada de un debilitamiento de sus prácticas de moderación más amplias, las cosas van a empeorar para sus usuarios en lugar de mejorar.

Sarah Gilbert es directora de investigación del Laboratorio de Ciudadanos y Tecnología de la Universidad de Cornell.