No es tu imaginación: los modelos ChatGPT en realidad alucinan más ahora

OpenAI publicó un documento la semana pasada que detalla varias pruebas internas y hallazgos sobre sus modelos o3 y o4-mini . Las principales diferencias entre estos modelos más nuevos y las primeras versiones de ChatGPT que vimos en 2023 son su razonamiento avanzado y sus capacidades multimodales. o3 y o4-mini pueden generar imágenes, buscar en la web, automatizar tareas, recordar conversaciones antiguas y resolver problemas complejos. Sin embargo, parece que estas mejoras también han traído efectos secundarios inesperados.

¿Qué dicen las pruebas?

OpenAI tiene una prueba específica para medir las tasas de alucinaciones llamada PersonQA. Incluye un conjunto de datos sobre las personas de quienes “aprender” y un conjunto de preguntas sobre esas personas a las que responder. La precisión del modelo se mide en función de sus intentos de responder. El modelo o1 del año pasado logró una tasa de precisión del 47% y una tasa de alucinaciones del 16%.

Dado que estos dos valores no suman 100%, podemos asumir que el resto de las respuestas no fueron precisas ni alucinaciones. El modelo a veces puede decir que no conoce o no puede localizar la información, puede que no haga ninguna afirmación y en su lugar proporcione información relacionada, o puede cometer un pequeño error que no puede clasificarse como una alucinación total.

Cuando se comparó o3 y o4-mini con esta evaluación, alucinaron a un ritmo significativamente mayor que o1. Según OpenAI, esto era algo esperado para el modelo o4-mini porque es más pequeño y tiene menos conocimiento del mundo, lo que provoca más alucinaciones. Aún así, la tasa de alucinaciones del 48% que logró parece muy alta considerando que o4-mini es un producto disponible comercialmente que la gente utiliza para buscar en la web y obtener todo tipo de información y consejos diferentes.

o3, el modelo de tamaño completo, alucinó en el 33% de sus respuestas durante la prueba, superando a o4-mini pero duplicando la tasa de alucinaciones en comparación con o1. Sin embargo, también tuvo una alta tasa de precisión, que OpenAI atribuye a su tendencia a hacer más afirmaciones en general. Entonces, si usas cualquiera de estos dos modelos más nuevos y has notado muchas alucinaciones, no es sólo tu imaginación. (Tal vez debería hacer una broma como “No te preocupes, no eres tú quien está alucinando”).

¿Qué son las “alucinaciones” de la IA y por qué ocurren?

Si bien es probable que hayas oído hablar antes de que los modelos de IA " alucinan ", no siempre está claro lo que significa. Siempre que utilice un producto de inteligencia artificial, OpenAI o de otro tipo, es casi seguro que verá un descargo de responsabilidad en algún lugar que diga que sus respuestas pueden ser inexactas y que debe verificarlo usted mismo.

La información inexacta puede provenir de todas partes: a veces un hecho negativo llega a Wikipedia o los usuarios dicen tonterías en Reddit, y esta información errónea puede llegar a las respuestas de la IA. Por ejemplo, AI Overviews de Google llamó mucho la atención cuando sugirió una receta de pizza que incluía " pegamento no tóxico ". Al final, se descubrió que Google obtuvo esta “información” a partir de una broma en un hilo de Reddit.

Sin embargo, estas no son "alucinaciones", sino más bien errores rastreables que surgen de datos incorrectos y malas interpretaciones. Las alucinaciones, por otro lado, se producen cuando el modelo de IA hace una afirmación sin ninguna fuente o motivo claro. Suele ocurrir cuando un modelo de IA no puede encontrar la información que necesita para responder a una consulta específica, y OpenAI lo ha definido como "una tendencia a inventar hechos en momentos de incertidumbre". Otras figuras de la industria lo han llamado "llenar vacíos creativos".

Puede fomentar las alucinaciones haciendo preguntas importantes a ChatGPT como "¿Cuáles son los siete modelos de iPhone 16 disponibles en este momento?" Dado que no hay siete modelos, es probable que el LLM le brinde algunas respuestas reales y luego invente modelos adicionales para terminar el trabajo.

Los chatbots como ChatGPT no sólo están entrenados en los datos de Internet que informan el contenido de sus respuestas, sino que también están entrenados en “cómo responder”. Se les muestran miles de consultas de ejemplo y respuestas ideales coincidentes para fomentar el tono, la actitud y el nivel de cortesía adecuados.

Esta parte del proceso de capacitación es lo que hace que un LLM parezca que está de acuerdo con usted o comprende lo que está diciendo, incluso cuando el resto de su resultado contradice completamente esas afirmaciones. Es posible que este entrenamiento sea parte de la razón por la que las alucinaciones son tan frecuentes: porque una respuesta segura que responde a la pregunta se ha reforzado como un resultado más favorable en comparación con una respuesta que no responde a la pregunta.

Para nosotros, parece obvio que decir mentiras al azar es peor que simplemente no saber la respuesta, pero los LLM no "mienten". Ni siquiera saben qué es una mentira. Algunas personas dicen que los errores de la IA son como errores humanos y, dado que "no hacemos las cosas bien todo el tiempo, tampoco deberíamos esperar que la IA lo haga". Sin embargo, es importante recordar que los errores de la IA son simplemente el resultado de procesos imperfectos diseñados por nosotros.

Los modelos de IA no mienten, no desarrollan malentendidos ni recuerdan mal la información como lo hacemos nosotros. Ni siquiera tienen conceptos de exactitud o inexactitud; simplemente predicen la siguiente palabra de una oración basándose en probabilidades. Y dado que afortunadamente todavía estamos en un estado en el que lo que más se dice probablemente sea lo correcto, esas reconstrucciones a menudo reflejan información precisa. Eso hace que parezca que cuando obtenemos "la respuesta correcta", es simplemente un efecto secundario aleatorio en lugar de un resultado que hemos diseñado, y así es como funcionan las cosas.

Alimentamos a estos modelos con toda la información de Internet, pero no les decimos qué información es buena o mala, precisa o inexacta; no les decimos nada. Tampoco cuentan con conocimientos fundamentales ni con un conjunto de principios subyacentes que les ayuden a clasificar la información por sí mismos. Todo es solo un juego de números: los patrones de palabras que existen con mayor frecuencia en un contexto determinado se convierten en la "verdad" del LLM. Para mí, esto suena como un sistema destinado a colapsar y arder, pero otros creen que este es el sistema que conducirá a AGI (aunque esa es una discusión diferente).

¿Cuál es la solución?

El problema es que OpenAI aún no sabe por qué estos modelos avanzados tienden a alucinar con más frecuencia. Quizás con un poco más de investigación podamos comprender y solucionar el problema, pero también existe la posibilidad de que las cosas no salgan tan bien. Sin duda, la empresa seguirá lanzando modelos cada vez más “avanzados” y existe la posibilidad de que las tasas de alucinaciones sigan aumentando.

En este caso, es posible que OpenAI deba buscar una solución a corto plazo y continuar su investigación sobre la causa raíz. Después de todo, estos modelos son productos rentables y deben estar en un estado utilizable. No soy un científico de IA, pero supongo que mi primera idea sería crear algún tipo de producto agregado: una interfaz de chat que tenga acceso a múltiples modelos OpenAI diferentes.

Cuando una consulta requiera un razonamiento avanzado, recurrirá a GPT-4o, y cuando quiera minimizar las posibilidades de alucinaciones, recurrirá a un modelo más antiguo como o1. Quizás la empresa podría ser aún más elegante y usar diferentes modelos para encargarse de diferentes elementos de una sola consulta, y luego usar un modelo adicional para unirlo todo al final. Dado que esto sería esencialmente un trabajo en equipo entre múltiples modelos de IA, tal vez también se podría implementar algún tipo de sistema de verificación de hechos.

Sin embargo, aumentar las tasas de precisión no es el objetivo principal. El objetivo principal es reducir las tasas de alucinaciones, lo que significa que debemos valorar las respuestas que dicen "No sé", así como las respuestas con las respuestas correctas.

En realidad, no tengo idea de qué hará OpenAI ni de qué tan preocupados están realmente sus investigadores por la creciente tasa de alucinaciones. Todo lo que sé es que más alucinaciones son malas para los usuarios finales; simplemente significa más y más oportunidades para que nos engañen sin darnos cuenta. Si le gustan mucho los LLM, no es necesario que deje de usarlos, pero no permita que el deseo de ahorrar tiempo prevalezca sobre la necesidad de verificar los resultados . ¡Siempre verifique los hechos!