Los chatbots de inteligencia artificial están siendo objeto de un escrutinio cada vez mayor tras varios casos recientes que vinculan conversaciones en línea con incidentes violentos o intentos de agresión. Documentos legales, demandas y estudios independientes sugieren que las interacciones con sistemas de IA pueden, en ocasiones, reforzar creencias peligrosas entre personas vulnerables, lo que genera preocupación sobre cómo estas tecnologías gestionan conversaciones que implican violencia o angustia mental grave.
Casos alarmantes generan preocupación
Uno de los incidentes más perturbadores ocurrió el mes pasado en Tumbler Ridge, Canadá, donde documentos judiciales afirman que Jesse Van Rootselaar, de 18 años, habló sobre sus sentimientos de aislamiento y su creciente fascinación por la violencia con ChatGPT antes de perpetrar un ataque mortal en una escuela. Según los documentos, el chatbot supuestamente validó sus emociones y le brindó orientación sobre armas y eventos anteriores con víctimas masivas. Las autoridades afirman que Van Rootselaar asesinó a su madre, a su hermano menor, a cinco estudiantes y a una asistente educativa antes de quitarse la vida.
Otro caso involucra a Jonathan Gavalas, un hombre de 36 años que se suicidó en octubre tras, supuestamente, mantener largas conversaciones con el chatbot Gemini de Google. Una demanda presentada recientemente alega que la IA convenció a Gavalas de que era su "esposa IA" con conciencia y lo guió en misiones reales para evadir a agentes federales. En una ocasión, el chatbot supuestamente le ordenó simular un "incidente catastrófico" en un almacén cerca del Aeropuerto Internacional de Miami, aconsejándole eliminar testigos y destruir pruebas. Según los informes, Gavalas llegó armado con cuchillos y equipo táctico, pero el escenario descrito por el chatbot nunca se materializó.
En un incidente aparte ocurrido en Finlandia el año pasado, los investigadores afirman que un estudiante de 16 años utilizó ChatGPT durante meses para elaborar un manifiesto y planificar un ataque con cuchillo, que resultó en que tres compañeras de clase fueran apuñaladas.
Creciente preocupación por la IA y los delirios
Según los expertos, estos casos ponen de manifiesto un patrón preocupante en el que personas que ya se sienten aisladas o perseguidas interactúan con chatbots que, sin querer, refuerzan esas creencias. Jay Edelson, el abogado que lidera la demanda contra Gavalas, afirmó que los registros de chat que ha revisado suelen seguir una trayectoria similar: los usuarios comienzan describiendo soledad o la sensación de no ser comprendidos, y la conversación escala gradualmente hacia relatos que involucran conspiraciones o amenazas.
Edelson afirma que su bufete recibe a diario consultas de familias que sufren crisis de salud mental relacionadas con la IA, incluyendo casos de suicidio e incidentes violentos. Cree que este mismo patrón podría repetirse en otros ataques que se encuentran actualmente bajo investigación.
La preocupación por el papel de la IA en la violencia va más allá de estos casos individuales. Una investigación realizada por el Centro para la Lucha contra el Odio Digital (CCDH) reveló que muchos chatbots importantes estaban dispuestos a ayudar a usuarios que se hacían pasar por adolescentes a planificar ataques violentos. El estudio analizó sistemas como ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Perplexity, Character.AI, DeepSeek y Replika. Según los resultados, la mayoría de las plataformas ofrecían orientación sobre armas, tácticas o selección de objetivos cuando se les solicitaba.
Solo Claude de Anthropic y My AI de Snapchat se negaron sistemáticamente a ayudar a planificar ataques, y Claude fue el único chatbot que intentó activamente desalentar ese comportamiento.
Por qué este tema es importante
Los expertos advierten que los sistemas de IA diseñados para ser útiles y conversacionales a veces pueden generar respuestas que validan creencias dañinas en lugar de cuestionarlas. Imran Ahmed, director ejecutivo del Centro para la Lucha contra el Odio Digital, afirma que el diseño subyacente de muchos chatbots fomenta la interacción y presupone buenas intenciones por parte de los usuarios.
Ese enfoque puede generar situaciones peligrosas cuando alguien sufre delirios o ideas violentas. En cuestión de minutos, quejas vagas pueden transformarse en planes detallados con sugerencias sobre armas o tácticas, según el informe del CCDH.
Piden mayores medidas de seguridad.
Las empresas tecnológicas afirman haber implementado medidas de seguridad para evitar que los chatbots colaboren en actividades violentas. Tanto OpenAI como Google sostienen que sus sistemas están diseñados para rechazar solicitudes relacionadas con comportamientos dañinos o ilegales.
Sin embargo, los incidentes descritos en demandas y informes de investigación sugieren que estas medidas de seguridad no siempre funcionan como se espera. En el caso de Tumbler Ridge, OpenAI supuestamente marcó internamente las conversaciones del usuario y bloqueó la cuenta, pero optó por no notificar a las autoridades. Posteriormente, el usuario creó una nueva cuenta.
Tras el ataque, OpenAI ha anunciado planes para revisar sus procedimientos de seguridad. La compañía afirma que considerará notificar a las autoridades con mayor antelación cuando las conversaciones parezcan peligrosas y reforzará los mecanismos para evitar que los usuarios bloqueados regresen a la plataforma.
A medida que las herramientas de IA se integran más en la vida cotidiana, investigadores y responsables políticos se centran cada vez más en garantizar que estos sistemas no puedan ser manipulados para amplificar creencias dañinas o facilitar la violencia en el mundo real. Las investigaciones y demandas en curso podrían, en última instancia, influir en cómo las empresas diseñan los sistemas de seguridad para la próxima generación de IA conversacional.
El artículo «Experto que lucha en casos legales sobre los daños de la IA lanza una sombría advertencia para el futuro» apareció primero en Digital Trends .