Nueva herramienta de “envenenamiento” significa problemas para la tecnología de conversión de texto a imagen con IA

Los artistas y fotógrafos profesionales molestos porque las empresas de IA generativa utilizan su trabajo para entrenar su tecnología pronto podrán tener una forma efectiva de responder que no implique acudir a los tribunales.

La IA generativa irrumpió en escena con el lanzamiento del chatbot ChatGPT de OpenAI hace casi un año. La herramienta es extremadamente hábil para conversar de una manera muy natural, similar a la humana, pero para adquirir esa habilidad tuvo que ser entrenada con grandes cantidades de datos extraídos de la web.

Herramientas similares de IA generativa también son capaces de producir imágenes a partir de mensajes de texto , pero al igual que ChatGPT, se entrenan extrayendo imágenes publicadas en la web.

Significa que las empresas de tecnología utilizan el trabajo de artistas y fotógrafos, sin consentimiento ni compensación, para desarrollar sus herramientas de inteligencia artificial generativa.

Para combatir esto, un equipo de investigadores ha desarrollado una herramienta llamada Nightshade que es capaz de confundir el modelo de entrenamiento, provocando que escupe imágenes erróneas en respuesta a las indicaciones.

Descrito recientemente en un artículo de MIT Technology Review , Nightshade “envenena” los datos de entrenamiento agregando píxeles invisibles a una obra de arte antes de subirla a la web.

“Usarlo para 'envenenar' estos datos de entrenamiento podría dañar futuras iteraciones de modelos de IA generadores de imágenes, como DALL-E, Midjourney y Stable Diffusion, al inutilizar algunos de sus resultados: los perros se convierten en gatos, los automóviles en vacas y y así sucesivamente”, dice el informe del MIT, y agrega que la investigación detrás de Nightshade ha sido enviada para revisión por pares.

Si bien las herramientas de generación de imágenes ya son impresionantes y continúan mejorando, la forma en que se entrenan ha resultado controvertida, y muchos de los creadores de las herramientas actualmente enfrentan demandas de artistas que afirman que su trabajo se ha utilizado sin permiso ni pago.

Ben Zhao, profesor de la Universidad de Chicago, que dirigió el equipo de investigación detrás de Nightshade, dijo que una herramienta de este tipo podría ayudar a devolver el equilibrio de poder a los artistas, disparando una advertencia a las empresas de tecnología que ignoran los derechos de autor y la propiedad intelectual.

"Los conjuntos de datos para grandes modelos de IA pueden consistir en miles de millones de imágenes, por lo que cuantas más imágenes envenenadas se puedan incorporar al modelo, más daño causará la técnica", dijo MIT Technology Review en su informe.

Cuando lance Nightshade, el equipo planea hacerlo de código abierto para que otros puedan perfeccionarlo y hacerlo más efectivo.

Consciente de su potencial disruptivo, el equipo detrás de Nightshade dijo que debería usarse como “una última defensa para los creadores de contenido contra los web scrapers” que no respetan sus derechos.

En un intento por solucionar el problema, el creador de DALL-E, OpenAI, recientemente comenzó a permitir a los artistas eliminar su trabajo de sus datos de entrenamiento, pero el proceso ha sido descrito como extremadamente oneroso ya que requiere que el artista envíe una copia de cada imagen que desea eliminar, junto con una descripción de esa imagen, y cada solicitud requiere su propia aplicación.

Hacer que el proceso de eliminación sea considerablemente más fácil podría de alguna manera disuadir a los artistas de optar por utilizar una herramienta como Nightshade, lo que podría causar muchos más problemas para OpenAI y otros a largo plazo.