La herramienta de detección de IA de Google ya está disponible para que cualquiera la pruebe

Aranzulla de Los Pobres

Google anunció a través de una publicación en X (anteriormente Twitter) el miércoles que SynthID ahora está disponible para cualquiera que quiera probarlo. El sistema de autenticación para contenido generado por IA incorpora marcas de agua imperceptibles en imágenes, videos y texto generados, lo que permite a los usuarios verificar si un contenido fue creado por humanos o máquinas.

"Estamos abriendo el código fuente de nuestra herramienta de marca de agua SynthID Text", escribió la compañía. "Disponible gratuitamente para desarrolladores y empresas, les ayudará a identificar su contenido generado por IA".

SynthID debutó en 2023 como un medio para marcar con agua imágenes, audio y videos generados por IA. Inicialmente se integró en Imagen, y posteriormente la compañía anunció su incorporación al chatbot Gemini el pasado mes de mayo en I/O 2024.

El sistema funciona codificando tokens : esos son los fragmentos fundamentales de datos (ya sea un solo carácter, una palabra o parte de una frase) que una IA generativa utiliza para comprender el mensaje y predecir la siguiente palabra en su respuesta, con marcas de agua imperceptibles. durante el proceso de generación del texto. Lo hace, según un blog de DeepMind de mayo , "introduciendo información adicional en la distribución de tokens en el punto de generación modulando la probabilidad de que se generen tokens".

Al comparar las opciones de palabras del modelo junto con sus "puntajes de probabilidad ajustados" con el patrón esperado de puntajes para texto con y sin marca de agua, SynthID puede detectar si una IA escribió esa oración.

Este proceso no afecta la precisión, calidad o velocidad de la respuesta, según un estudio publicado en Nature el miércoles, y tampoco puede evitarse fácilmente. A diferencia de los metadatos estándar, que pueden eliminarse y borrarse fácilmente, la marca de agua de SynthID permanece incluso si el contenido ha sido recortado, editado o modificado de otro modo.

"Lograr marcas de agua confiables e imperceptibles en el texto generado por IA es fundamentalmente un desafío, especialmente en escenarios donde los resultados [del modelo de lenguaje grande] son ​​casi deterministas, como preguntas factuales o tareas de generación de código", Soheil Feizi, profesor asociado de la Universidad de Maryland. , dijo a MIT Technology Review , señalando que su naturaleza de código abierto "permite a la comunidad probar estos detectores y evaluar su robustez en diferentes entornos, lo que ayuda a comprender mejor las limitaciones de estas técnicas".

Sin embargo, el sistema no es infalible. Si bien es resistente a la manipulación, las marcas de agua de SynthID se pueden eliminar si el texto se ejecuta a través de una aplicación de traducción de idiomas o si se ha reescrito en gran medida. También es menos eficaz con pasajes cortos de texto y para determinar si la IA generó una respuesta basada en una declaración fáctica. Por ejemplo, solo hay una respuesta correcta a la pregunta "¿cuál es la capital de Francia?" y tanto los humanos como la IA te dirán que es París.

Si desea probar SynthID usted mismo, puede descargarlo desde Hugging Face como parte del Responsible GenAI Toolkit actualizado de Google.