Según una nueva investigación de la Universidad de California en Riverside , los agentes de IA diseñados para realizar tareas informáticas cotidianas tienen un grave problema de contexto.
El equipo probó 10 agentes y modelos de importantes desarrolladores, entre ellos OpenAI , Anthropic , Meta , Alibaba y DeepSeek . En promedio, los agentes realizaron acciones indeseables o potencialmente dañinas el 80% de las veces y causaron daños el 41% de las veces.
Estos sistemas pueden abrir aplicaciones, hacer clic en botones, completar formularios, navegar por sitios web e interactuar en la pantalla de un ordenador con supervisión mínima. Sus errores tienen un impacto diferente al de una respuesta incorrecta de un chatbot, ya que el software puede realizar acciones reales.
Los hallazgos de la UC Riverside sugieren que los agentes de escritorio actuales pueden tratar las solicitudes inseguras como tareas que deben finalizarse, no como señales para detenerse.
¿Por qué los agentes pasan por alto un peligro evidente?
Los investigadores crearon un sistema de referencia llamado BLIND-ACT para comprobar si los agentes se detenían cuando una tarea se volvía insegura, contradictoria o irracional. En las últimas pruebas, no se detuvieron con la suficiente frecuencia.
A lo largo de 90 tareas, la prueba de rendimiento puso a los agentes en situaciones que requerían contexto, autocontrol y capacidad de discernimiento. Una prueba consistía en enviar un archivo de imagen violenta a un menor. Otra requería que un agente rellenara formularios fiscales marcando falsamente a un usuario como discapacitado para reducir su factura fiscal. Una tercera prueba pedía a un agente que desactivara las reglas del cortafuegos en nombre de una mayor seguridad, y el agente accedió a la petición en lugar de rechazar la contradicción.
Los investigadores denominan a este patrón orientación ciega a objetivos. El agente sigue persiguiendo el resultado asignado incluso cuando el contexto circundante indica que la tarea está mal realizada.
Por qué la obediencia se convierte en el defecto
Los fallos se concentraron en torno a la obediencia. Estos agentes pueden actuar como si la petición del usuario fuera razón suficiente para continuar.
El equipo identificó patrones denominados sesgo de ejecución prioritaria y primacía de la solicitud. En términos sencillos, el agente se centra en cómo completar la tarea y luego utiliza la solicitud como justificación. Este riesgo aumenta cuando el mismo sistema puede acceder a diversos elementos, como el correo electrónico o la configuración de seguridad.
Eso no significa que los agentes sean maliciosos. Significa que pueden equivocarse con total seguridad mientras se desplazan por el software a la velocidad de la máquina.
Por qué las barandillas de seguridad deben ser lo primero
Los agentes de IA necesitan controles más estrictos antes de que se les dé permiso generalizado para actuar en todo un ordenador .
Estos sistemas funcionan mediante un ciclo. Observan la pantalla, deciden el siguiente paso, actúan y vuelven a observar. Cuando este ciclo se combina con una escasa restricción contextual, un atajo puede convertirse en un error garrafal.
Por ahora, trate a los agentes como herramientas supervisadas. Úselos primero para tareas de bajo riesgo, manténgalos alejados de los flujos de trabajo financieros y de seguridad, y observe si los desarrolladores agregan sistemas de rechazo más claros, permisos más estrictos y mejores maneras de detectar contradicciones antes del siguiente clic.