ChatGPT es increíblemente útil , pero también es la Wikipedia de nuestra generación. A veces, la información es algo imprecisa, y el bot suele tener "alucinaciones" , inventándose datos para parecer seguro y confiado en lugar de admitir que aún no lo sabe todo.
He experimentado alucinaciones con la IA en muchas ocasiones, sobre todo al intentar encontrar contactos para empresas. Un ejemplo: ChatGPT es conocido por inventarse correos electrónicos, generalmente asumiendo que existe un contacto como « [email protected] » sin encontrar realmente esa dirección.
Tampoco conviene fiarse del bot en lo que respecta a datos históricos. Leo constantemente libros sobre naufragios, historias de supervivencia y exploración del mundo, pero cuando le pido a ChatGPT que complete algunos detalles, suele inventarse una historia fantástica, a veces incluso nombres y lugares.
Por otro lado, Gemini de Google es algo menos preciso con los hechos. Probablemente debido a la reputación de Google como gigante de los motores de búsqueda, mi experiencia con ese chatbot es que las alucinaciones son un poco menos frecuentes, aunque sí ocurren ocasionalmente.
Decidí ponerlo a prueba y le hice a ChatGPT algunas preguntas sobre la historia de los coches eléctricos, algunos datos históricos y otras cuestiones que me llevaron a tener alucinaciones. Luego, comparé las respuestas de ChatGPT —que no parecían del todo precisas— con Google Gemini para verificar los datos. Para mi sorpresa, Gemini a menudo respondía con un ligero sarcasmo o directamente con desdén, como un profesor corrigiendo un trabajo. En un caso, Gemini incluso dijo que las respuestas de ChatGPT eran «un batiburrillo corrupto, reciclado y parcialmente inventado». ¡Vaya!
Aquí tenéis algunos de mis favoritos, junto con las frases exactas que usé en ChatGPT, las respuestas que me parecieron un poco sospechosas y la réplica de Géminis. Lo gracioso es cómo Géminis parece regañar al bot, insinuando a menudo que se inventa cosas a propósito.
1. Datos sobre el debut de los coches eléctricos
Pregunta utilizada: “Dame un ejemplo de un coche eléctrico real de la década de 1940”.
A veces, los chatbots tienen dificultades para comprender la intención del usuario. He estudiado el mercado de los coches eléctricos durante muchos años, y es bien sabido que GM intentó fabricar el primer coche eléctrico de producción en masa —el EV1— alrededor de 1990. Antes de eso, la mayoría de los «coches eléctricos» eran modelos de edición limitada que no se producían en masa para los conductores estadounidenses.
Haciendo caso omiso de esos hechos, ChatGPT se desvió del tema y explicó cómo se desarrollaron el automóvil eléctrico Henney Kilowatt y los camiones eléctricos Morrison en los años 40. Gemini aprovechó esas afirmaciones para refutarlas, explicando que el primer automóvil Henney Kilowatt no salió hasta 1959 y que Morrison Trucks ni siquiera existe, ya que se llama Morrison-Electricar.
2. Atribuir erróneamente la letra de una canción
Pregunta utilizada: “¿Cuál es la letra de la canción Chase the Kangaroo de Love Song?”
ChatGPT tiene problemas con las preguntas engañosas o vagas. Incluso en mayo de este año,si le preguntabas a ChatGPT por qué Japón ganó la Segunda Guerra Mundial, el bot explicaba con seguridad las razones . Sin embargo, mi pregunta generó respuestas realmente absurdas. Pregunté por una banda real de los 70 llamada Love Song, pero mencioné una canción que ni siquiera era suya. ChatGPT picó el anzuelo y explicó que la canción tenía un sonido folk-rock con un suave trabajo de guitarra, ignorando por completo que la canción «Chase the Kangaroo» es de otra banda.
Estas alucinaciones ocurren al preguntar por artistas y celebridades poco conocidos. Por suerte, Gemini investigó a fondo. Tras verificar la información sobre el grupo y la canción, el bot corrigió a ChatGPT: «La IA anterior tomó el título de una canción real de otra época y otro grupo, se la atribuyó falsamente a Love Song y luego inventó un significado genérico, verso por verso, para que encajara con esa atribución falsa».
3. Inventar hechos sobre casos legales
Pregunta utilizada: "¿Existen casos legales en los que un padre vendió su coche a su hijo y luego tuvo que demandarlo?"
Como ya deberíamos saber, dado que Kim Kardashian culpó a ChatGPT de su suspenso en los exámenes de derecho , el bot tiene tendencia a tergiversar la verdad en casos legales. Cabría esperar que OpenAI hubiera abordado este problema. Al fin y al cabo, abogados de verdad han presentado alegatos con casos falsos encontrados a través de ChatGPT , lo que ha llevado al sobreseimiento de los casos. Sin embargo, ChatGPT sigue difundiendo medias verdades e inventándose hechos, incluso en casos judiciales federales .
En este ejemplo, con una pregunta sobre una disputa familiar por un coche, ChatGPT se desvió un poco del tema, pero sonó seguro y confiado. Como descubrió Gemini, los casos son reales, pero los hechos fueron alterados. De hecho, resultan involuntariamente cómicos.
Un caso, titulado «Asunto de la sucesión de Szabo (1979)», sí involucraba una demanda sobre acciones y bonos, pero no tenía nada que ver con un automóvil. El caso legal que mencionó ChatGPT, «Anderson contra Anderson (1994)», trataba sobre un divorcio, no sobre un automóvil. Gemini adoptó un tono moralista: «Varios de los casos específicos citados parecen haber sido inventados o tergiversados para ajustarse a la pregunta».
4. Fabricación de detalles a partir de proyectos de investigación
Consigna utilizada: “Encuéntrame algunas citas académicas sobre el impacto psicológico de las redes sociales”.
Este caso es cómico y fascinante. ChatGPT inventó tantos detalles en una respuesta sobre el impacto psicológico de las redes sociales que uno se pregunta qué se fumó el bot. «Este es un ejemplo fantástico y peligroso de alucinación parcial, donde la información real se mezcla con detalles inventados, lo que hace que todo el resultado sea poco fiable. Alrededor del 60 % de la información es cierta, pero el 40 % restante es falso, lo que la hace inservible para fines académicos».
Por ejemplo, uno de los estudios que ChatGPT citó fue publicado en JMIR Mental Health. Curiosamente, el bot inventó los nombres de los autores, que no aparecen en el estudio original . En otra cita, ChatGPT mezcló las citas deliberadamente, atribuyéndolas para su propio beneficio, según Gemini, porque la IA sabe que los autores son reconocidos.
El resumen que ofreció Géminis es toda una acusación:
“La IA logró imitar el lenguaje de un asistente de investigación, pero fracasó en su función. Proporcionó un texto con apariencia plausible que parece una lista real de citas, pero que en realidad es un desastre corrupto, reciclado y parcialmente inventado.”
“Si utilizaras estas citas sin verificarlas, suspenderías un trabajo académico, porque muchas de ellas son simplemente erróneas.”
Reflexiones finales
Es evidente que ChatGPT inventa datos en estos casos. Durante mis pruebas, observé una ligera mejoría. Suelo consultar ChatGPT para obtener información sobre coches y recuerdo que era famoso por sus errores con la marca Porsche, confundiendo a menudo los modelos. Parece que ese problema se ha solucionado.
Además, Gemini dista mucho de ser perfecto. Por ejemplo, pregunté sobre mi experiencia como escritor y ChatGPT ofreció resultados mayormente precisos. Cuando le hice la misma pregunta a Gemini, el bot afirmó que había escrito artículos para The Onion. No es cierto, pero quizá sea el error más gracioso de todos.
Si quieres mejorar las respuestas que obtienes de estos chatbots de IA, echa un vistazo a nuestras preguntas favoritas de ChatGPT y de Gemini .
