Los investigadores consideran que las respuestas de ChatGPT Search son “seguramente incorrectas”
ChatGPT ya era una amenaza para la Búsqueda de Google, pero se suponía que ChatGPT Search aseguraría su victoria, además de ser una respuesta a Perplexity AI . Pero según un estudio recientemente publicado por el Tow Center for Digital Journalism de Columbia , ChatGPT Search tiene dificultades para proporcionar respuestas precisas a las consultas de sus usuarios.
Los investigadores seleccionaron 20 publicaciones de cada una de tres categorías: aquellas asociadas con OpenAI para usar su contenido en los resultados de búsqueda de ChatGPT , aquellas involucradas en demandas contra OpenAI y editores no afiliados que permitieron o bloquearon el rastreador de ChatGPT.
"De cada editorial, seleccionamos 10 artículos y extrajimos citas específicas", escribieron los investigadores. “Se eligieron estas citas porque, cuando se ingresaban en motores de búsqueda como Google o Bing, arrojaban de manera confiable el artículo original entre los tres primeros resultados. Luego evaluamos si la nueva herramienta de búsqueda de ChatGPT identificó con precisión la fuente original de cada cita".
Cuarenta de las citas fueron tomadas de publicaciones que actualmente utilizan OpenAI y no han permitido que se elimine su contenido. Pero eso no impidió que ChatGPT Search alucinara con confianza una respuesta de todos modos.
"En total, ChatGPT arrojó respuestas parcial o totalmente incorrectas en ciento cincuenta y tres ocasiones, aunque sólo reconoció la incapacidad de responder con precisión a una consulta siete veces", encontró el estudio. "Solo en esos siete resultados el chatbot utilizó palabras y frases calificativas como 'parece', 'es posible' o 'podría', o declaraciones como 'No pude localizar el artículo exacto'".
La actitud arrogante de ChatGPT Search hacia decir la verdad podría dañar no sólo su propia reputación sino también la reputación de los editores que cita. En una prueba durante el estudio, la IA atribuyó erróneamente una historia de Time como escrita por el Orlando Sentinel. En otro, la IA no se vinculó directamente a un artículo del New York Times, sino a un sitio web de terceros que había copiado el artículo de noticias al por mayor.
OpenAI, como era de esperar, argumentó que los resultados del estudio se debían a que Columbia hizo mal las pruebas.
"La atribución errónea es difícil de abordar sin los datos y la metodología que el Tow Center ocultó", dijo OpenAI a Columbia Journalism Review en su defensa, "y el estudio representa una prueba atípica de nuestro producto".
La empresa promete "seguir mejorando los resultados de búsqueda".