El creador de contenido Ziggi Tyler forma parte de la plataforma privada Creator Marketplace de TikTok, donde las marcas pueden conectarse con los principales creadores de la app. Hace un par de semanas, Tyler notó algo bastante inquietante sobre cómo las biografías de los creadores estaban siendo moderadas automáticamente.

Cuando intentó introducir ciertas frases en la suya, como Black Lives Matter ("Las Vidas Negras Importan"), "Apoyar a los negros", "Apoyar las voces negras" y "Apoyar el éxito de los negros", fueron marcadas como contenido inapropiado. Pero las versiones con la palabra blanco en vez de negro de las mismas frases sí eran aceptadas.

En un vídeo de TikTok, el creador explicó: "Si entro en Creator Marketplace y pongo 'apoyo a la supremacía blanca' y presiono aceptar, todo está bien". En la imagen se mostró una captura de vídeo de él haciendo exactamente eso en su teléfono. Para aparecer en el mercado, Tyler tuvo que borrar lo que había escrito.

En un vídeo de seguimiento, Tyler mostró cómo las frases "Soy un neonazi" y "Soy un antisemita" habían sido aceptadas, mientras que "Soy un hombre negro" aparecía marcado. Su vídeo tuvo mucho éxito, en parte gracias a una audiencia que ya estaba frustrada por cómo se trata a los creadores negros en TikTok.

En un comentario para Insider, el portavoz de la empresa se disculpó por el "significativo" error y dijo que lo que Tyler veía era el resultado de un filtro automático configurado para bloquear las palabras asociadas con el discurso del odio. El sistema estaba "configurado erróneamente para marcar frases sin respetar el orden de las palabras". La empresa admitió que este error en particular provino de la inclusión de las palabras "Negro" y "audiencia", porque su detección de discurso de odio encontró la palabra "morir" en "audiencia" y marcó esa pareja de palabras como inapropiada.

Hacerlo público, volverlo viral

No es el único incidente de este tipo en la plataforma. Hace unas semanas, TikTok aplicó erróneamente lo que parecía ser un filtro de belleza obligatorio que creaba una línea de mandíbula más suave para algunos usuarios de Android.

Además, en abril, un creador de TikTok notó que la nueva función de subtítulos automáticos de la plataforma bloqueaba la frase "mujeres asiáticas". Y a principios de 2021, los creadores intersexuales descubrieron que el hashtag #intersex había desaparecido de la app.

Son ejemplos de un patrón que se repite en TikTok: primero un creador detecta un problema extraño y potencialmente dañino con la moderación o el algoritmo de la plataforma, que a menudo impacta de manera desproporcionada a los grupos minoritarios. Luego hace un vídeo sobre lo que ocurre y obtiene muchas visualizaciones. Al final, tal vez, un periodista se interese en lo que está pasando, le pide a la empresa que se lo explique y el problema se soluciona. TikTok después publica una declaración asegurando que el problema fue el resultado de un error y enfatiza el trabajo que llevan a cabo para apoyar a los creadores y las causas afectadas.

No es una sorpresa que estos vídeos sean noticia. La gente los crea porque funcionan. Obtener visualizaciones ha sido durante años una de las estrategias más efectivas para impulsar a una gran plataforma a arreglar algo. Tiktok, Twitter y Facebook han hecho que sea más fácil que los usuarios denuncien abusos y violaciones de reglas por parte de otros usuarios. Pero, cuando estas empresas parecen estar infringiendo sus propias políticas, la gente a menudo descubre que la mejor estrategia consiste en publicar sobre ello en la propia plataforma, con la esperanza de volverse viral y llamar la atención que provoque algún tipo de solución. Los dos vídeos de Tyler sobre su biografía en Marketplace, por ejemplo, tienen cada uno más de 1 millón de visualizaciones.

"El contenido está siendo marcado porque se trata de alguien de un grupo marginado que habla sobre sus experiencias con el racismo. Para un algoritmo, el discurso de odio y hablar sobre el discurso de odio puede ser muy parecido", Casey Fiesler, Universidad de Colorado en Boulder (EE. UU.)

"Probablemente me etiqueten en algo una vez a la semana", reconoce la profesora asistente de la Universidad de Colorado en Boulder (EE. UU) Casey Fiesler, que estudia la ética de la tecnología y las comunidades online. Es una usuaria activa en TikTok, con más de 50.000 seguidores, y aunque no todo lo que ve le parece una preocupación legítima, cree que el desfile regular de problemas de la app es real. TikTok ha tenido varios errores de este tipo en los últimos meses y todos han impactado de manera desproporcionada a los grupos minoritarios de la plataforma.

MIT Technology Review ha preguntado a TikTok por sus problemas más recientes, y las respuestas son similares: después de investigar, TikTok encuentra que el problema se creó por error, destaca que el contenido bloqueado en cuestión no viola sus políticas y muestra los enlaces de apoyo que la empresa brinda a dichos grupos.

La pregunta es si ese ciclo (algún error técnico o de política, una respuesta viral y una disculpa) puede cambiarse.

Resolver los problemas antes de que surjan

"Hay dos tipos de daños por esta moderación de contenido probablemente algorítmica que la gente ha notado. Uno son los falsos negativos. La gente piensa, '¿por qué hay tanto discurso de odio en esta plataforma y por qué no se elimina?'", opina Fiesler. 

El otro son los falsos positivos. "Su contenido está siendo marcado porque se trata de alguien de un grupo minoritario que habla sobre sus experiencias con el racismo. Para un algoritmo, el discurso de odio y hablar sobre el discurso de odio puede ser muy parecido", explica.

Según Fiesler, los dos tipos dañan a las mismas personas: aquellas que ya son objeto de abuso de manera desproporcionada terminan siendo censuradas algorítmicamente por hablar sobre eso. 

Los misteriosos algoritmos de recomendación de TikTok son parte de su éxito, pero sus límites poco claros y el hecho de que cambien constantemente ya están teniendo un efecto escalofriante en algunos usuarios. Fiesler señala que muchos creadores de TikTok autocensuran palabras en la plataforma para evitar la revisión. Y aunque no está segura del efecto de esta táctica, ella también ha empezado a hacerlo, por si acaso. Las cuentas bloqueadas, los misterios algorítmicos y las extrañas decisiones de moderación son una parte constante de la conversación en la app.

Fiesler opina que lo que es aún peor es que muchos de estos errores serían fáciles de predecir si las empresas simplemente pensaran más en cómo los diferentes usuarios interactúan con su app. El error de discurso de odio encontrado por Tyler sería difícil de pasar por alto si la compañía lo probara en el lenguaje que los creadores negros realmente utilizan para describirse a sí mismos, por ejemplo.

Admite que conseguir la moderación correcta es complejo, pero eso no justifica esta constante repetición de errores. Y añade: "Suelo entender mejor los desafíos de estas cosas que la mayoría de la gente. Pero incluso llego a pensar, '¿en serio?' En algún punto debe haber patrones y hay que saber qué buscar".

Le pregunté si algo podría ralentizar este ciclo, si resulta imposible resolverlo por completo en estos momentos. Parte de la respuesta es una de las soluciones más antiguas en la tecnología: contratar y escuchar a personas de diversos orígenes.

Pero, también cree que una mayor transparencia debe ser parte de la solución. Fiesler no puede decir exactamente por qué el detector de discurso de odio de TikTok funcionó tan mal, porque la app no ha revelado mucha información sobre cómo funciona, ni a los investigadores como ella, ni a los usuarios cuyo contenido acaba eliminado o suprimido por procesos automáticos que, como demuestra la historia, pueden equivocarse fácilmente.

Como periodista, cuando le pedí a TikTok (y en otras ocasiones, a otras plataformas) explicaciones más detalladas sobre por qué había ocurrido ese tipo de error y qué hacían para evitar que vuelva a pasar en el futuro, la respuesta fue breve, insatisfactoria o la empresa simplemente no quiso comentar sobre lo ocurrido.

"Si los creadores notan constantemente su contenido marcado de manera inapropiada, entonces debería haber procesos de apelación muy sencillos", concluye Fiesler. Mientras tanto: el ciclo continúa.