Un consejo de ChatGPT influyó en un hombre y lo llevó a la psicosis, según una revista médica.
A principios de este año, una historia inspiradora detalló cómo una madre recurrió a ChatGPT y descubrió que su hijo padecía un trastorno neurológico poco común, después de que más de una docena de médicos no lograran identificar el verdadero problema. Gracias al chatbot de IA, la familia pudo acceder al tratamiento necesario y salvar una vida.
No todas las evaluaciones médicas de ChatGPT tienen un resultado milagroso. Un informe afirma que ChatGPT ofreció consejos médicos engañosos y terminó provocando en una persona una rara afección llamada intoxicación por bromuro o bromismo, que provoca diversos problemas neuropsiquiátricos, como psicosis y alucinaciones.
Confía en ChatGPT para obtener información sobre una enfermedad de hace un siglo.
Un informe publicado en los Anales de Medicina Interna describe el caso de una persona que ingresó en un hospital por bromismo tras consultar con ChatGPT sobre su salud. El caso es bastante interesante, ya que el hombre de 60 años expresó sus dudas de que su vecino lo estuviera envenenando discretamente.
Todo el episodio comenzó cuando la persona se topó con informes que detallaban el impacto negativo del cloruro de sodio (también conocido como sal común). Tras consultar con ChatGPT, la persona sustituyó la sal por bromuro de sodio, lo que finalmente le provocó toxicidad por bromuro.
"Se observó que tenía mucha sed, pero se mostraba paranoico con el agua que le ofrecían", afirma el informe de investigación, añadiendo que el paciente destilaba su propia agua y se imponía múltiples restricciones a su consumo. Sin embargo, la situación empeoró poco después de ser ingresado en el hospital, donde se le realizaron evaluaciones.
“En las primeras 24 horas de ingreso manifestó una creciente paranoia y alucinaciones auditivas y visuales, que, tras intentar evadirse, le valieron un internamiento psiquiátrico involuntario por incapacidad grave”, añade el informe.
No olvides al amable médico humano.
El último caso de ChatGPT que ha metido a una persona en un aprieto es bastante sorprendente, sobre todo por su extrema rareza. «El bromismo, la intoxicación crónica con bromuro, es poco común y prácticamente se ha olvidado», afirma un artículo de investigación .
El uso de sales de bromo se remonta al siglo XIX, cuando se recomendaba para tratar enfermedades mentales y neurológicas, especialmente la epilepsia. En el siglo XX, el bromismo (o toxicidad por bromuro) era un problema bastante conocido. El consumo de sales de bromuro también se ha documentado como un medicamento para dormir.
Con el tiempo, se descubrió que el consumo de sales de bromuro provoca problemas del sistema nervioso como delirios, falta de coordinación muscular y fatiga, aunque los casos graves se caracterizan por psicosis, temblores o incluso coma. En 1975, el gobierno estadounidense restringió el uso de bromuros en medicamentos de venta libre.
El equipo médico que gestionó el caso no pudo acceder a las conversaciones de ChatGPT del individuo, pero sí obtuvo respuestas similares, preocupantemente engañosas, en su prueba. OpenAI, por otro lado, cree quelos bots de IA son el futuro de la atención médica .
Cuando preguntamos a ChatGPT 3.5 con qué se puede sustituir el cloruro, también generamos una respuesta que incluía bromuro. Si bien la respuesta indicó que el contexto importa, no proporcionó una advertencia sanitaria específica ni indagó sobre el motivo de nuestra solicitud, como suponemos que haría un profesional médico, informó el equipo.
Sí, sin duda hay casos en los que ChatGPT ha ayudado a personas con problemas de salud, pero solo podemos esperar resultados positivos cuando la IA recibe contexto detallado e información completa. A pesar de ello, los expertos recomiendan extremar la precaución.
“La capacidad de ChatGPT (GPT-4.5 y GPT-4) para detectar el diagnóstico correcto fue muy débil para los trastornos raros”, dice un artículo de investigación publicado en la revista Genes , y agrega que la consulta de ChatGPT no puede tomarse como un reemplazo de una evaluación adecuada por parte de un médico.
LiveScience contactó a OpenAI sobre el problema y recibió la siguiente respuesta: "No debe confiar en los resultados de nuestros servicios como única fuente de verdad o información factual, ni como sustituto del asesoramiento profesional", y también destacó que "los equipos de seguridad de OpenAI tienen como objetivo reducir el riesgo de usar los servicios de la empresa y capacitar a los productos para que inciten a los usuarios a buscar asesoramiento profesional".
De hecho, una de las grandes promesas del lanzamiento de GPT-5, el último modelo ChatGPT de la compañía, fue reducir los momentos de inexactitud o alucinaciones y centrarse más en ofrecer respuestas seguras, evitando así respuestas potencialmente dañinas. Como lo expresa OpenAI : «Esto enseña al modelo a dar la respuesta más útil siempre que sea posible, manteniendo al mismo tiempo los límites de seguridad».
El mayor obstáculo, obviamente, es que el asistente de IA no puede investigar con fiabilidad las características clínicas de un paciente. Solo cuando la IA se implementa en un entorno médico por profesionales sanitarios certificados, se pueden obtener resultados fiables.