Civitai, un mercado online para comprar y vender contenido generado por IA, respaldado por la empresa de capital riesgo Andreessen Horowitz, permite a los usuarios comprar archivos de instrucciones personalizados para generar deepfakes de famosos. Según un nuevo análisis, algunos de estos archivos se diseñaron específicamente para crear imágenes pornográficas prohibidas por el sitio.
El estudio, realizado por investigadores de las universidades de Stanford (California, EE UU) y de Indiana (Indiana, EE UU), analizó las solicitudes de contenido de los usuarios del sitio, denominadas “bounties” (“recompensas”). Los investigadores descubrieron que, entre mediados de 2023 y finales de 2024, la mayoría de las recompensas solicitaban contenido animado, pero una parte significativa eran deepfakes de personas reales, y el 90 % de estas solicitudes de deepfakes tenían como objetivo a mujeres. (Sus conclusiones aún no han sido revisadas por pares).
El debate en torno a los deepfakes, como ilustra la reciente reacción negativa a las imágenes explícitas en el chatbot Grok, propiedad de X, ha girado en torno a lo que deben hacer las plataformas para bloquear ese tipo de contenido. La situación de Civitai es un poco más complicada. Su mercado incluye imágenes, vídeos y modelos reales, pero también permite a los usuarios comprar y vender archivos de instrucciones llamados LoRA que pueden entrenar a modelos de IA convencionales, como Stable Diffusion, para que generen contenido para el que no han sido entrenados. Los usuarios pueden combinar estos archivos con otras herramientas para crear deepfakes gráficos o sexuales. Los investigadores descubrieron que el 86 % de las solicitudes de deepfakes en Civitai eran para LoRA.
En estas recompensas, los usuarios solicitaban modelos de “alta calidad” para generar imágenes de personajes públicos como la influencer Charli D’Amelio o la cantante Gracie Abrams, a menudo enlazando con sus perfiles en las redes sociales para que sus imágenes pudieran ser capturadas de la web. Algunas solicitudes especificaban el deseo de modelos que generaran el cuerpo completo de la persona, capturaran con precisión sus tatuajes o permitieran cambiar el color del pelo. Algunas solicitudes se dirigían a varias mujeres de nichos específicos, como artistas que graban vídeos ASMR. Una solicitud era para un deepfakede una mujer que, según el usuario, era su esposa. Cualquier persona del sitio web podía ofrecer modelos de IA en los que hubiera trabajado para la tarea, y las mejores propuestas recibían un pago de entre 0,50 y 5 dólares. Y casi el 92 % de las recompensas por deepfakes fueron concedidas.
Ni Civitai ni Andreessen Horowitz respondieron a las solicitudes de comentarios.
Es posible que la gente compre estas LoRA para crear deepfakes que no sean sexualmente explícitos (aunque seguirían infringiendo los términos de uso de Civitai y seguirían siendo éticamente problemáticos). Pero Civitai también ofrece recursos educativos sobre cómo utilizar herramientas externas para personalizar aún más los resultados de los generadores de imágenes, por ejemplo, cambiando la pose de una persona. El sitio también alberga artículos escritos por usuarios con detalles sobre cómo instruir a los modelos para que generen pornografía. Los investigadores descubrieron que la cantidad de pornografía en la plataforma ha aumentado y que la mayoría de las solicitudes semanales son ahora para contenido NSFW (“Not Safe for Work”).
“Civitai no solo proporciona la infraestructura que facilita estos problemas, sino que también enseña explícitamente a sus usuarios cómo utilizarlos”, afirma Matthew DeVerna, investigador postdoctoral del Centro de Política Cibernética de Stanford y uno de los líderes del estudio.
La empresa solía prohibir solo los deepfakes sexualmente explícitos de personas reales, pero en mayo de 2025 anunció que prohibiría todo el contenido deepfake. No obstante, innumerables solicitudes dedeepfakes enviadas antes de esta prohibición siguen estando activas en el sitio web, y muchas de las propuestas ganadoras que satisfacen esas solicitudes siguen estando disponibles para su compra, según ha confirmado MIT Technology Review.
“Creo que el enfoque que están tratando de adoptar es hacer lo menos posible, de modo que puedan fomentar al máximo (supongo que ellos lo llamarían así) la creatividad en la plataforma”, afirma DeVerna.
Los usuarios compran LoRA con la moneda online del sitio, llamada Buzz, que se adquiere con dinero real. En mayo de 2025, la entidad procesadora de tarjetas de crédito de Civita cortó el servicio a la empresa debido a su continuo problema con contenidos no consentidos. Para pagar por contenidos explícitos, los usuarios deben ahora utilizar tarjetas regalo o criptomonedas para comprar Buzz; la empresa ofrece un vale diferente para contenidos no explícitos.
Civitai etiqueta automáticamente las recompensas que solicitan deepfakes y ofrece una forma para que la persona que aparece en el contenido solicite manualmente su retirada. Este sistema significa que Civitai tiene una forma razonablemente eficaz de saber qué recompensas son para deepfakes, pero sigue dejando la moderación en manos del público en general en lugar de llevarla a cabo de forma proactiva.
La responsabilidad legal de una empresa por lo que hacen sus usuarios no está del todo clara. En general, las empresas tecnológicas cuentan con amplias protecciones legales contra dicha responsabilidad por su contenido en virtud del artículo 230 de la Ley de Decencia en las Comunicaciones, pero esas protecciones no son ilimitadas. Por ejemplo, “no se pueden facilitar a sabiendas transacciones ilegales en un sitio web”, afirma Ryan Calo, profesor especializado en tecnología e inteligencia artificial de la Facultad de Derecho de la Universidad de Washington. (Calo no participó en este nuevo estudio).
Civitai se unió a OpenAI, Anthropic y otras empresas de IA en 2024 para adoptar principios de diseño que protejan contra la creación y difusión de material de abuso sexual infantil generado por IA. Esta medida se tomó tras un informe de 2023 del Observatorio de Internet de Stanford, que reveló que la gran mayoría de los modelos de IA mencionados en las comunidades de abuso sexual infantil eran modelos basados en Stable Diffusion “obtenidos principalmente a través de Civitai”.
Sin embargo, losdeepfakesde adultos no han recibido el mismo nivel de atención por parte de las plataformas de contenido ni de las empresas de capital riesgo que las financian. “No les dan lo suficiente miedo. Son demasiado tolerantes con ellos”, afirma Calo. “Ni las fuerzas del orden ni los tribunales civiles los protegen adecuadamente. Es como el día y la noche”.
Civitai recibió una inversión de 5 millones de dólares (unos 4,24 millones de euros) de Andreessen Horowitz (a16z) en noviembre de 2023. En un vídeo compartido por a16z, el cofundador y director ejecutivo de Civitai, Justin Maier, describió su objetivo de crear el principal lugar donde las personas puedan encontrar y compartir modelos de IA para sus propios fines individuales. “Nuestro objetivo es hacer que este espacio, que ha sido muy especializado y técnico, sea cada vez más accesible para más y más personas”, afirmó.
Civitai no es la única empresa con un problema de deepfakes en la cartera de inversiones de a16z; en febrero, MIT Technology Review informó por primera vez que otra empresa, Botify AI, alojaba compañeros de IA que se parecían a actores reales y que afirmaban ser menores de 18 años, participaban en conversaciones de carácter sexual, ofrecían “fotos picantes” y, en algunos casos, describían las leyes sobre la edad de consentimiento como “arbitrarias” y “destinadas a ser infringidas”.
