Un generador de imágenes de IA que crea contenido NSFW está produciendo 500.000 imágenes al día, afirma el CEO, pero el porno de IA es un negocio turbio.

CEO claims an AI image generator produces 500,000 NSFW images daily, but AI porn is a shady business.

  • Unstable Diffusion es un generador de imágenes de IA con restricciones de contenido mínimas.
  • La plataforma permite a los usuarios generar contenido NSFW, incluyendo imágenes pornográficas.
  • Su CEO dice que el servicio está produciendo más de 500,000 imágenes al día.

Unstable Diffusion, el generador de imágenes de IA NSFW que fue expulsado de Kickstarter en diciembre, está ganando muchos seguidores: El programa está generando más de 500,000 imágenes todos los días, según dijo Arman Chaudhry, CEO y cofundador, a Insider por correo electrónico.

Unstable Diffusion es similar a otros generadores de imágenes de IA que crean imágenes a partir de texto, pero tiene restricciones de contenido mínimas y puede crear imágenes NSFW, incluyendo pornográficas.

Está basado en Stable Diffusion, el popular generador de texto a imagen de Stability AI. El código subyacente de Stable Diffusion es público, por lo que teóricamente cualquiera puede verlo y modificarlo para crear nuevas versiones del modelo original.

Eso es lo que hizo Chaudhry al comenzar Unstable Diffusion en agosto de 2022, el mismo mes en que Stable Diffusion se lanzó al público.

Unstable Diffusion comenzó como un subreddit para compartir pornografía generada por IA. Luego, el grupo se trasladó a Discord, donde los miembros comenzaron a construir herramientas, creando finalmente un bot que se convertiría en una versión temprana de su generador de imágenes, según informó TechCrunch.

“Fundamos el grupo de Discord como refugio para artistas que querían crear arte de IA sin limitaciones, incluyendo las relacionadas con el contenido para adultos”, dijo Chaudhry, CEO de Unstable Diffusion, a Insider en febrero por correo electrónico.

La comunidad lanzó una campaña en Kickstarter en diciembre para recaudar dinero y construir su generador de imágenes, pero fue eliminada de la plataforma 12 días después.

A pesar de eso, Unstable Diffusion pudo recaudar los fondos necesarios, $30,000, según Chaudhry dijo a Insider en febrero, para lanzar una aplicación web independiente. Unstable Diffusion tiene un servicio básico gratuito, así como tres productos de pago que cobran entre $14.99 y $59.99 al mes. Estos servicios premium permiten a los usuarios generar más imágenes simultáneamente, producir imágenes más rápidamente y utilizar imágenes con fines comerciales.

Por supuesto, existe la oportunidad de abuso cuando se trata de pornografía generada por IA, ya que los usuarios pueden crear pornografía deepfake o contenido que represente a menores involucrados en actos sexuales.

En febrero, Atrioc, un popular streamer de Twitch, fue sorprendido viendo esta pornografía que mostraba deepfakes de streamers femeninas. En ese momento, los expertos dijeron a Insider que ser protagonista de pornografía deepfake no consensuada puede ser traumático y se considera abuso.

Chaudhry dijo a Insider en febrero que el “sistema agresivo de filtro y moderación” de Unstable evita los deepfakes y otro contenido indeseable.

Pero no es infalible. TechCrunch pudo utilizar el generador para crear imágenes que mostraban parecidos de Donald Trump y Chris Hemsworth, por ejemplo.

Cuando se le preguntó acerca de las imágenes de TechCrunch, Chaudhry dijo que los parecidos fueron creados durante un período en el que el servicio experimentaba “un error con nuestro filtro de generación de contenido deepfake que lo desactivó temporalmente para algunos usuarios”.

Error o no, la moderación de contenido perfecta, especialmente para un producto que tiene pocos límites, es difícil.

“No es posible debido a la ley de la no confiabilidad de Gilb: cualquier sistema que dependa de la confiabilidad humana es poco confiable”, dijo Dan Hendrycks, experto en seguridad de IA y director del Center for AI Safety, a Insider.

La moderación de contenido para cualquier sistema que sea capaz de producir material inflamatorio es imposible, agregó.

Incluso los chatbots de IA moderados extensamente por empresas tecnológicas como Google y OpenAI corren el riesgo de que se pasen por alto sus límites.

La plataforma también puede enfrentar problemas legales:

En 2019, Gavin Newsom, el gobernador de California, firmó dos proyectos de ley relacionados con deepfakes como ley estatal, uno de los cuales permitía a los residentes demandar a cualquiera que usara tecnología deepfake para insertarlos en material pornográfico sin su consentimiento.

En mayo, se presentó un proyecto de ley en el Congreso que haría ilegal compartir o difundir pornografía generada por IA no consensuada.