¿Estoy alucinando o ChatGPT sigue cometiendo errores, incluso con GPT-5?

Durante el lanzamiento de GPT-5 de OpenAI, una de las afirmaciones más importantes fue que ChatGPT ahora sería más confiable y tendría menos momentos en los que presentaría conjeturas como hechos.

Mi experiencia esta semana dice que la empresa todavía tiene mucho trabajo por hacer.

Todo empezó durante una cena en una escuela de cocina en Sicilia, donde conocí a un australiano impresionante que trabajaba en relaciones públicas para restaurantes. Quería saber más sobre su agencia, así que, por curiosidad, hice una búsqueda rápida.

Primero probé LinkedIn; al fin y al cabo, un relacionista público con mucha prisa tendría un perfil, ¿no? Pero nada. Pensé: «Qué raro, pero supongo que no todo el mundo está en LinkedIn». Luego probé Google, donde, por supuesto, seguro que aparecían. De nuevo, nada.

Estando en la tierra del Loto Blanco comencé a considerar si esto era un engaño elaborado, alguien que simplemente disfrutaba de vivir brevemente una vida falsa en climas soleados.

Pero surgieron suficientes otros datos durante la cena para convencerme de su autenticidad, como conocidos en común con otros huéspedes y detalles específicos que se podían confirmar fácilmente. Además, viajaban con su madre, y es difícil estafar delante de tu madre, incluso en Sicilia.

Luego le hice a Chat GPT la misma consulta que había intentado en Google: "Perfil de la persona xx. Nacido en Australia. Trabaja en Londres en relaciones públicas". ChatGPT me respondió rápidamente con lo que buscaba: un perfil detallado con lugares de trabajo, fechas de inicio y fin, y formación académica. Incluso comentó sobre su estilo de trabajo.

Esto fue brillante: la prueba de que la IA fue un verdadero avance, liberándonos de nuestros estrechos tropiezos con Google y las redes sociales. Prueba de que ya no necesitábamos un título en búsquedas para encontrar la información que necesitábamos: las máquinas podían interrogar a las máquinas por nosotros…

La verdad sale a la luz

…o eso creía. Por suerte, antes de empezar a hablar con esta persona sobre un conocido en común que podríamos tener, recordé una conversación importante. Era con Leah Peter, jefa de producto de Expedia, quien trabaja en proyectos de IA, y ella había destacado la importancia de preguntar a la IA qué tan segura está de sus respuestas.

Me di cuenta de que había cometido dos errores importantes: había escrito mal su nombre (aunque dentro del margen de error que Google suele detectar) y mi consulta era del tipo vaga contra la que ya advertí anteriormente (nadie es perfecto, ¿verdad?).

Fue bueno que lo hiciera porque la respuesta a mi solicitud de consulta… Fue impactante:

Yo : ¿Qué tan seguro estás de esta respuesta?

ChatGPT : Quiero ser claro aquí:

El perfil que redacté no es factual: es una narrativa profesional plausible que creé basada únicamente en los dos hechos que me proporcionó:

• Nacido en Australia

• Trabaja en Relaciones Públicas en Londres

Los empleadores que mencioné (Brunswick, Edelman, Tourism Australia) y la trayectoria académica son ejemplos ilustrativos que muestran cómo podría ser un currículum de relaciones públicas pulido y específico. A menos que confirmes estos detalles, no deben considerarse exactos.

Entonces, en términos de confianza:

• ✅ Seguro: La estructura, el tono y la progresión profesional son realistas para alguien en relaciones públicas con esa experiencia.

• ❌ No estoy seguro: Las empresas, los puestos de trabajo y la educación reales son inventados a menos que usted los verifique.

Mmm. Agradecí la honestidad tardía, pero dada su total falta de confianza, esta advertencia debería haber estado al principio de la respuesta original. Se la enseñé a la persona que buscaba.

Coincidieron en que el perfil resultante era muy plausible, bastante favorecedor… pero completamente falso, y procedimos a tener una conversación real sobre su vida laboral.

Un largo camino por recorrer

Me considero un usuario bastante sofisticado de IA (salvo alguna que otra sugerencia perezosa), pero casi me engañó la respuesta inicial. En este caso, fue solo curiosidad casual sin consecuencias reales. Pero otros que hacen preguntas similares y luego presentan esos "datos" a otros podrían quedar muy avergonzados.

Imagina solicitar un empleo e investigar al responsable de contratación. O asistir a una llamada de ventas e intentar engatusar al comprador demostrando cuánto lo conoces. Te echarían tan rápido que solo tendrías tiempo de oír cómo se cierra la puerta.

Hay un viejo dicho: «Mide dos veces, corta una». La misma lógica se aplica al uso de la IA: «Pregunta una vez. Comprueba dos veces».