Meta ha creado un sistema capaz de incrustar "señales invisibles", conocidas como marcas de agua, en clips de audio generados por IA para ayudar a detectar contenidos generados por IA en la red. La herramienta, llamada AudioSeal, es la primera en poder identificar fragmentos de audio que pueden haber sido generados por IA. Por ejemplo, en un pódcast de una hora de duración. Según Hady Elsahar, investigador científico de Meta, esto podría ayudar a atajar el creciente problema de la desinformación y las estafas mediante herramientas de clonación de voz.

En los últimos tiempos, se ha utilizado la IA generativa para crear falsificaciones de audio del presidente Joe Biden, y algunos estafadores han hecho lo propio para chantajear a sus víctimas. En teoría, estas marcas de agua podrían ayudar a las empresas de redes sociales a detectar y eliminar contenidos no deseados.

Sin embargo, existen algunas consideraciones importantes. Por un lado, Meta afirma que aún no tiene previsto aplicar las marcas de agua al audio generado por IA con sus herramientas. Por otro, las marcas de agua de audio todavía no se han adoptado de forma generalizada, y no existe una norma única y consensuada para ellas. Además, las marcas de agua de los contenidos generados por IA suelen ser fáciles de manipular, ya que se pueden eliminar o falsificar.

La rapidez de detección y la capacidad de determinar con precisión qué elementos de un archivo de audio han sido generados por IA son fundamentales para que el sistema resulte útil, según Elsahar. Asimismo, afirma que el equipo logró entre un 90% y un 100% de precisión en la detección de las marcas de agua, resultados mucho mejores que en intentos anteriores de crear marcas de agua en audio.

AudioSeal está disponible en GitHub de forma gratuita. Cualquiera puede descargarlo y utilizarlo para añadir marcas de agua a los clips de audio generados por IA. Con el tiempo, este programa podría incluso incorporarse a los modelos de generación de audio por IA para que las marcas de agua se aplicasen automáticamente. Los investigadores que lo crearon presentarán su trabajo en la Conferencia Internacional sobre Aprendizaje Automático que se celebrará en Viena (Austria) en julio.

AudioSeal utiliza dos redes neuronales. Una genera marcas de agua que pueden incrustarse en pistas de audio imperceptibles para el oído humano, pero que pueden detectarse rápidamente con la otra red neuronal. Actualmente, si se quiere detectar si un audio ha sido generado por IA, es necesario peinarlo entero en segmentos de un segundo para ver si alguno de ellos contiene una marca de agua. Es un proceso lento, laborioso y poco práctico, sobre todo en las redes sociales, que contienen millones de minutos de voz.

AudioSeal funciona de forma diferente: incrusta una marca de agua en cada sección del audio, lo que permite localizarlas, aunque se recorte o edite el audio. Ben Zhao, profesor de informática de la Universidad de Chicago (EE UU), afirma que esta característica, unida a la precisión casi perfecta de la detección, hacen que AudioSeal sea mejor que cualquier otro sistema anterior de marcas de agua de audio que haya conocido.

"Es muy importante investigar para mejorar el sistema de las marcas de agua, sobre todo en medios como el audio, que suelen ser más difíciles de marcar y detectar que los contenidos visuales", afirma Claire Leibowicz, responsable de Inteligencia Artificial e Integridad de los Medios de la organización sin ánimo de lucro Partnership on AI. No obstante, hay algunos fallos importantes que deben superarse antes de que este tipo de marcas de agua de audio puedan adoptarse de forma masiva. Los investigadores de Meta probaron distintos métodos para eliminar las marcas de agua y descubrieron que cuanta más información se revela sobre el algoritmo, más vulnerable resulta.

Por otro lado, este sistema requiere que las personas añadan voluntariamente la marca de agua, lo que impone algunas limitaciones fundamentales a la herramienta, afirma Zhao. "Si el atacante tiene algún tipo de acceso al detector (de marcas de agua), entonces es bastante frágil", añade. Esto significa que solo Meta podrá verificar si el audio ha sido generado por IA o no.

Leibowicz sigue sin estar convencida de que las marcas de agua contribuyan a aumentar la confianza del público en la información que ve o escucha, a pesar de su popularidad como solución en el sector tecnológico. En parte, esto se debe a que muchas personas se prestan por sí mismas a la manipulación. "No creo que ninguna marca de agua sea resistente a la falsificación", añade.