- Conversation AI de Jigsaw, de Google

Conversation AI es una ramificación de uno de los proyectos más ambiciosos y exitosos de Google, Google Brain.  Esta iniciativa ya le ha ayudado a revolucionar el campo del aprendizaje automático mediante redes neuronales a gran escala, y le ha dado algunas ventajas, como software capaz de reconocer imágenes mejor que los humanos. Pero Conversation AI será capaz de vencer a los abusos digitales. Aunque el objetivo de Jigsaw es "combatir el aumento de pandillas de linchamiento digitales", el programa es mucho más modesto y por tanto más realista. Conversation AI optimizará la moderación de la comunidad que ya realizan humanos. Así que incluso si no logra neutralizar los peores comportamientos en línea, podría fomentar un discurso más amplio y mejor en algunas páginas.

Detección de menciones 

Jigsaw está empezando a aplicar Conversation AI a The New York Times, donde será desplegado dentro para ayudar a la empresa a gestionar sus comentarios. Actualmente, moderadores humanos revisan casi cada comentario publicado en su página web. En estos momentos Conversation AI está leyendo 18 millones de ellos para aprender a detectar las categorías a la que corresponde cada comentario rechazado. Pueden ser insustanciales, irrelevantes, spam, incoherentes, incendiarios, obscenos, ataques a comentaristas, ataques al autor, ataques al editor.

El objetivo de The New York Times no es tanto reducir los abusos dentro de sus comentarios, ya que considera que ya tiene este problema bajo control. En su lugar, espera reducir la carga de trabajo de los moderadores humanos. La directora de ingeniería del equipo de comunidad del New York Times, Erica Greene, afirmó a MIT Technology Review en español: "No esperamos disponer de un sistema totalmente automatizado". Por su parte, el editor de comunidad de The New York Times, Bassey Etim, calcula que entre el 50% y el 80% de los comentarios algún día podrían llegar a ser automoderados, lo que dejaría libres a los empleados para crear contenidos más atractivos a partir de las secciones de comentarios del periódico. 

La página del New York Times presenta problemas muy distintos al libre albedrío en tiempo real que hay en Twitter y Reddit. Y dadas las limitaciones del aprendizaje automático actual, es imposible que Conversation AI combata los abusos en los espacios abiertos de internet. A pesar de los grandes avances del campo, los ordenadores aún no ha logrado descifrar el lenguaje humano, donde patrones como los que aparecen en las imágenes son diabólicamente complicados de analizar. 

Crédito: Erik Carter.

El problema lingüístico para detectar abusos es el contexto. El análisis de comentarios de Conversation AI no analiza el flujo completo de una conversación. En lugar de eso, empareja comentarios individuales con modelos aprendidos de lo que considera comentarios buenos y malos. Por ejemplo, podría aceptar comentarios que tiendan a incluir palabras y fases comunes y otras características. Pero Greene explica que el sistema suele clasificar como negativos muchos comentarios en noticias Donald Trump porque le citan utilizando palabras que provocarían el rechazo de un comentario si procediesen de un lector. Así que The New York Times desactivará el servicio en este tipo de artículos.

Entonces sería imposible que Conversation AI funcione correctamente en una plataforma abierta como Twitter. ¿Cómo detectaría las alusiones al Holocausto en los tuits violentos que recibe el periodista judío Marc Daalder: "Este eres tú si gana Trump", junto a una foto de una pantalla de lámpara, y: "Este es tu lugar", junto a otra una foto de un horno? Detectar el carácter abusivo depende de unos conocimientos históricos y del contexto cultural que un algoritmo sólo podría detectar si hubiese sido entrenado con ejemplos muy similares. Incluso entonces, ¿cómo podría diferenciar entre los abusos y la misma foto con el comentario: "Esto es lo que compraré si gana Trump"? El nivel de conocimientos semánticos y prácticos requerido va más allá de lo que  el aprendizaje automático intenta abordar actualmente.

Por tanto, cualquier trol de Twitter podría aprender a esquivar a sistemas como Conversation AI. Al bloquear algunos comentarios, el aprendizaje automático podría rendir de manera decente a la hora de impedir a los comentaristas blandir palabras como "marica" y "sarasa", si ese fuera el objetivo. Pero la inteligencia artificial no podrá detener quien se empeñe en insinuar que alguien es del otro lado de la acera.

En otras palabras, Conversation AI hará más eficientes las tareas de moderación de comunidades que en realidad ya funcionan bastante bien. Es incapaz de erradicar los peores abusos de los que oímos hablar, que a menudo aparecen en páginas con unos estándares mínimos de moderación. Es imposible controlar los abusos en Twitter y Reddit sin alterar fundamentalmente su naturaleza. 

Comunidades cerradas

Es imposible controlar los abusos en Twitter y Reddit sin alterar fundamentalmente su naturaleza.

El éxito de Facebook sirve de recordatorio de que la mayoría de las personas, y desde luego la mayoría de las empresas, preferimos un entorno relativamente protegido y controlado a uno en el que los desconocidos puedan inmiscuirse en los asuntos de los demás y provocar peleas. Así que si Conversation AI u otras herramientas similares facilitan y hacen más eficiente el ejercicio de tales controles, será un recordatorio de que "resolver" el problema de abusos, tanto por medios humanos como automatizados, requiere que nos alejemos del ideal de red abierta por excelencia. Incluso comunidades aparentemente "libres" como StackExchange y MetaFilter requieren constantes intervenciones de moderadores y labores de vigilancia de la comunidad. Otras comunidades verdaderamente anárquicas como Twitter, 4chan y algunos canales de Reddit son excepciones, no la regla. Ni tampoco son grandes generadores. Twitter ha luchado por atraer a un comprador, en parte por su reputación de contenidos abusivos, mientras que Reddit tiene una alta rotación de personal y dificultades para monetizar. La naturaleza del "Viejo Oeste" de esas páginas sólo se volverá más obvia si herramientas como Conversation AI logran que las páginas moderadas funcionen aún mejor.

Merece la pena señalar una gran desventaja. Puesto que Conversation AI está siendo entrenada para aprobar contenidos que se ajustan a determinadas pautas léxicas, gramaticales y de estilo, no sólo filtrará contenidos abusivos. También podría tender a discriminar contenidos diferentes. Eso suscita preguntas sobre lo que gobiernos propensos a la censura podrían hacer con él. Al igual que el
New York Times modera sus comunidades, lo mismo podrían hacer los gobiernos de Turquía y China con las suyas. Mientras que esfuerzos de Jigsaw como el Proyecto Shield intentan proporcionar defensas para páginas web políticamente sensibles, Conversation AI ofrece una herramienta para filtrar opiniones no deseadas. Así que la pregunta es: ¿no deseadas por quién? No existe una etiqueta en la caja que se lea "Utilizar sólo para impedir abusos".

*David Auerbach está escribiendo un libro sobre lenguajes humanos e informáticos y su convergencia, que será publicado por Pantheon. Trabajó durante 11 años como ingeniero de software en Google y Microsoft, principalmente centrado en infraestructuras de servidor.