Sora, de OpenAI, se está utilizando para crear vídeos de IA de mujeres siendo estranguladas.

Lo que sucedió: Esto es bastante horripilante. Se están encontrando videos generados por IA en TikTok y X (la aplicación que todos seguimos llamando Twitter) que muestran a mujeres y niñas siendo estranguladas.

• Esto no son dibujos animados; parecen terriblemente realistas. Los vídeos son cortos, de unos 10 segundos, y tienen títulos horribles como «Una animadora adolescente fue estrangulada», mostrando a «mujeres» sintéticas llorando y forcejeando.
• Los investigadores señalan que muchos de estos vídeos tienen una marca de agua de Sora 2, el nuevo generador de vídeo de OpenAI que se lanzó al público el 30 de septiembre. Algunas de las subidas más recientes no tienen la marca de agua, lo cual es aún más preocupante, ya que significa que podrían estar averiguando cómo eliminarla o que están utilizando otras herramientas de IA para crear este tipo de contenido.
• Las cuentas que publican estos vídeos también son inquietantes. La de X casi no tiene seguidores, mientras que una similar en TikTok tenía más de 1000 antes de que la cerraran. Parece que ambas empezaron en octubre, primero publicando fragmentos de televisión reales y luego… pasaron a esta violencia generada por IA.

¿Por qué es importante? Esto es una señal de alarma enorme. Demuestra que estas plataformas de IA y redes sociales están fallando completamente a la hora de detectar este tipo de contenido, incluso cuando sus propias normas prohíben claramente el "contenido gráfico o violento".

• TikTok sí eliminó la cuenta después de que los medios de comunicación comenzaran a hacer preguntas, pero según los informes, X simplemente… no lo hizo, incluso después de que los usuarios lo denunciaran.
• También muestra el riesgo más oscuro de estas nuevas herramientas de IA: que cada vez es más fácil que cualquiera cree vídeos hiperrealistas de violencia, especialmente contra mujeres y niños.
• Esto no es solo “infringir las normas”; es sencillamente inmoral y plantea enormes cuestiones legales sobre el uso de la IA para crear y compartir contenido abusivo.

¿Por qué debería importarme?: Ahora que cualquiera puede hacer este tipo de cosas, pueden propagarse como la pólvora, insensibilizando a la gente ante lo horrible que es realmente este tipo de violencia.

• Debes tener en cuenta que, aunque estos vídeos sean “falsos”, aún pueden causar un daño psicológico real y alimentar una cultura de violencia.
• Es una llamada de atención más que nos recuerda la urgente necesidad de medidas de seguridad más estrictas. Las empresas que desarrollan estas herramientas de IA y las plataformas que permiten su difusión deben rendir cuentas.

¿Qué sigue?: El gobierno del Reino Unido acaba de anunciar que tomará medidas para ilegalizar cualquier representación pornográfica de estrangulamiento, lo cual es una señal de que los países están empezando a tomar conciencia de este problema.

• Mientras tanto, aumenta la presión sobre OpenAI, TikTok y X para que se pongan las pilas y establezcan controles reales en sus herramientas de IA para que no puedan utilizarse para producir este tipo de basura perturbadora y violenta.
• Si no actúan con rapidez, los expertos advierten que esto es solo el comienzo de una nueva y repugnante ola de abusos en línea impulsados ​​por inteligencia artificial .