Los expertos advierten sobre el uso de ChatGPT para simplificar la investigación científica

"Explícamelo como un niño de quinto". Esta frase, o una variación de esta, suele aparecer en redes sociales para hablar de los beneficios de la IA para explicar temas complejos de la forma más sencilla posible. Es también uno de los mejores ejemplos del uso de la IA en el sector educativo. Sin embargo, según los expertos, no conviene depender exclusivamente de herramientas de IA como ChatGPT para resumir investigaciones y artículos científicos.

¿Cuál es el panorama general?

Los artículos de investigación están notoriamente repletos de términos técnicos y un lenguaje excesivamente complejo, lo que dificulta que una persona promedio comprenda los avances descritos en ellos. Aquí es donde entran en escena los periodistas científicos, quienes escriben artículos concisos sobre dichos logros y avances en un lenguaje fácil de entender.

Estas mismas personas han detallado ahora por qué usar ChatGPT para resumir artículos científicos es una mala idea. El equipo de la oficina de prensa de la revista Science y el equipo de Science Press Package (SciPak) comenzaron a probar ChatGPT Plus para comprobar si podía transmitir la información con precisión y en un tono más sencillo.

Tras un año de pruebas, el equipo descubrió que los resúmenes generados por ChatGPT sacrificaban la precisión en aras de la simplicidad y requerían una edición exhaustiva para exagerar. El equipo descubrió que ChatGPT Plus tenía predilección por usar la palabra «innovador». Curiosamente, los chatbots de IA abusan de ciertas palabras, y ahora incluso influyen en nuestra forma de hablar en el día a día .

¿Cuál es la conclusión clave?

Como parte de la prueba, el equipo utilizó la versión de pago de ChatGPT para redactar tres resúmenes únicos de dos artículos de investigación semanalmente. Estos resúmenes fueron evaluados posteriormente por redactores humanos. ChatGPT no fue un fracaso total, pero no logró captar los matices cruciales en el campo de la investigación y la comunicación científica.

"No puede sintetizar ni traducir los hallazgos para audiencias no expertas", dice el libro blanco que analiza la prueba, y agrega que el chatbot es propenso a sobrevalorar los resultados , no puede explicar completamente las limitaciones y no le va bien cuando tiene que analizar dos eventos de investigación en el mismo contexto.

Un escritor comentó que los resúmenes de ChatGPT traicionaban la confianza. «Finalmente, se convertían en jerga si se les cuestionaba con investigaciones particularmente densas en información, detalle y complejidad», escribe Abigail Eisenstadt, redactora de Press Package y miembro de la AAAS (Asociación Americana para el Avance de la Ciencia).

( Divulgación : Nadeem Sarwar es miembro de la AAAS, pero no contribuye a la ciencia)