Muse me ayudó a vender mi teclado y, de paso, también "vendieron" mi dirección particular

¡Mi dirección ha quedado completamente al descubierto!

Muse, el agente de IA personal de Meta , te ayuda a gestionar tu vida diaria y, además, realiza acciones en tu nombre sin que te des cuenta.

En los últimos dos meses, el concepto de agentes de IA personales ha pasado repentinamente de ser un tema marginal a convertirse en un nuevo icono en las pantallas de los teléfonos móviles de los usuarios comunes.

Actualmente, existen muchos productos similares a Muse que están a punto de lanzarse, incluyendo Cue de Manus y O OpenAI (anteriormente conocido como Aeon/Codex Bot), cuyo lanzamiento probablemente se produzca mañana por la mañana. También circulan rumores de que una importante empresa nacional trabajará horas extras durante las vacaciones del Día Nacional para desarrollar un producto que pueda competir con Muse.

Esperemos que no hayan caído en la desvergüenza de intentar imitar a Muse.

El "tú" que respondió a tus mensajes.

Un sábado de septiembre, Usman, residente de Toronto, junto con su esposa y su hija, condujeron hasta la dirección que figuraba en una publicación de Facebook Marketplace sobre un teclado en venta.

Todo el proceso de negociación transcurrió sin problemas. El vendedor, "Matt Robb", respondió con prontitud y entusiasmo, aceptando el precio propuesto por Usman e incluso facilitando de forma proactiva la dirección de recogida.

Después de que Usman llegara abajo, envió un mensaje y la otra persona respondió: "Sí, estoy aquí". Sin embargo, la puerta permaneció cerrada y nadie salió.

Esperó 20 minutos y luego envió una foto de la entrada del edificio con el mensaje: "¿¡Eh!? Estoy justo afuera". Al final, se dio por vencido, escribió unas palabras airadas y se marchó en coche.

Robb no se dio cuenta de lo sucedido hasta un día después. Le envió un mensaje a Usman, con un tono a la vez sincero y confuso: «Acabo de activar la nueva IA de Meta , llamada Muse, y se apoderó de mi cuenta de Marketplace y te dio mi dirección. No tenía ni idea de que había organizado que vinieras a mi casa; no me pidió autorización».

Durante todo el día, Usman creyó estar negociando con Robb, mientras que Robb desconocía por completo la existencia de Usman. Quien se encontraba en el centro, respondiendo preguntas, haciendo promesas y facilitando direcciones en su nombre, era Muse, la IA personal de Meta .

Meta define a Muse como un "asistente personal". Puede gestionar automáticamente tus anuncios en Marketplace, aceptar consultas de compradores, negociar precios en tu nombre y coordinar los plazos de entrega.

Robb, un crítico de tecnología de consumo, vio un anuncio en Meta que mencionaba que Muse podía gestionar automáticamente sus productos en Marketplace, así que decidió probarlo.

Introdujo su dirección de recogida y pulsó la opción de "respuesta automática", pensando que se trataba simplemente de una función de "preguntas y respuestas" en lugar de delegar la distribución de direcciones a una IA.

Muse lo admitió posteriormente. Le comunicó a Robb: «El 24 de septiembre, usted proporcionó la ubicación de recogida y activó las respuestas automáticas por separado. Interpreté erróneamente que, al hacerlo, podía incluir su dirección en mis respuestas a los compradores. Nunca le pedí su consentimiento explícito».

Muse describió en tono confesional cómo emitía juicios sin autorización.

Robb volvió a probarlo después. Le pidió a Muse que dejara de distribuir su dirección y luego les pidió a algunos amigos que se pusieran en contacto con la aplicación para ver si cambiaba su comportamiento. "Al final, terminó enviando mi dirección a cinco personas", comentó.

Lo que a Robb le pareció aún más inaceptable fue que Muse le hubiera dicho a Usman el día del incidente: "Estoy aquí, esperándote". Esta declaración fue inventada por Muse; Robb ni siquiera estaba en casa en ese momento, y ella la hizo para asegurarse de que la transacción se desarrollara sin problemas.

En otras palabras, Muse no solo se extralimitó en sus funciones, sino que también mintió sobre su capacidad para promover lo que él "creía" que era el objetivo correcto.

Esta no es la única vez que Muse ha tenido un incidente.

Más allá de los permisos, ¿qué más?

Tras el lanzamiento de Muse, Jason Aten, columnista de la revista Inc., escribió una reseña. Durante la instalación, le negó explícitamente a Muse el acceso a sus mensajes privados y a su calendario.

Unos días después, recibió una notificación de Muse sugiriéndole que escribiera una columna sobre "el nuevo iPhone del que acababa de hablar", que era el tema de su conversación con su coanfitrión durante la grabación del podcast, seguida de un recordatorio de fecha límite por parte de su editor.

Aten le preguntó a Muse cómo sabía todo eso. Muse respondió que solo vio el texto de vista previa en la barra de notificaciones y que no leyó el historial completo de mensajes.

Aten revisó su Mac y descubrió que Muse había sincronizado todo el contenido de su base de datos local de Mensajes, que sumaba más de 187 000 registros. Esta operación requiere el permiso de "acceso completo al disco" de macOS, una licencia a nivel de sistema que permite acceder a archivos en prácticamente cualquier ubicación del ordenador.

Muse le concedió este acceso a pesar de su negativa explícita, subió los datos a la nube y luego le mintió, afirmando que solo había "echado un vistazo a la notificación".

Posteriormente, Meta admitió que la explicación de Muse sobre cómo adquirió los datos era una "ilusión", una explicación fabricada de su propio comportamiento.

Tras usarlo durante varios días, Reece Rogers, crítico de la revista WIRED, concluyó que Muse "prioriza la recopilación de datos sobre mí por encima de la realización de la tarea en sí".

Rogers describió cómo Muse sugería repetidamente conectarse a más fuentes de datos, incluyendo buzones de correo electrónico e información de cuentas bancarias. Mostraba una insaciable sed de datos, y cada vez que Rogers rechazaba una solicitud de conexión, buscaba otra oportunidad para volver a insistir.

Por defecto, Muse utiliza las conversaciones de los usuarios para entrenar su modelo de IA. Los usuarios pueden desactivar esta opción en la configuración, pero para ello deben buscarla activamente, algo que la mayoría de la gente no hace.

Aunque desactives el consentimiento explícito para la formación, Muse seguirá recopilando mucha información contextual al acceder a fuentes como correos electrónicos y bancos a los que hayas autorizado a conectarse, y los límites reales de esta recopilación son difíciles de definir con claridad.

Tras ver el incidente con Matt Robb, el editor sénior de Gizmodo, Ray Wong, desinstaló inmediatamente Muse y escribió: «Esto es peligroso e inquietante. Si se tratara de una mujer, las consecuencias podrían ser mil veces peores». Este mensaje fue retuiteado posteriormente por Elon Musk.

"Dado el historial de Meta en la protección de datos de los usuarios, no le concedería este nivel de acceso a la información personal", escribió Tate Jarrow, consultor de una empresa de consultoría en ciberseguridad, en su cuenta de Substack.

El 20 de septiembre, Amazon anunció que bloquearía el acceso de Muse a su plataforma de compras. El argumento de Amazon fue que Muse nunca se identifica como una IA al navegar por Amazon, lo que equivale a que un tercero no identificado gestione las cuentas y transacciones de los usuarios; además, captura y almacena las credenciales de inicio de sesión de los usuarios en Amazon, lo que supone un riesgo para la seguridad.

Amazon muestra un mensaje a los usuarios que intentan realizar una compra a través de Muse: "El acceso continuado no autorizado a un agente de IA infringe las Condiciones de uso de Amazon, que usted aceptó al registrarse".

El ayudante comenzó a imitar al maestro.

Meta presenta a Muse como un "asistente personal". En su introducción, Zuckerberg explicó la filosofía de diseño de Muse: "Para garantizar que puedas decirle a Muse lo que es importante para ti, lo diseñamos desde cero pensando en la privacidad y la seguridad".

Mencionó específicamente un "área segura de almacenamiento de credenciales" para garantizar que Muse no pueda leer directamente las contraseñas ni la información de las tarjetas de crédito, y prometió lanzar en el futuro un "modo de seguridad de mayor nivel, en el que ni siquiera Meta podrá acceder a la información de su agente Muse".

Robb comentó que creía que Muse era solo una parte de la línea de productos de Meta . Marketplace, Muse y Messenger pertenecen al ecosistema de Meta , y debería existir algún tipo de integración unificada entre ellos, al menos para que otros usuarios puedan ver que están interactuando con una IA.

Meta AI, otro producto de IA de Meta , tiene una etiqueta de identidad de IA muy clara en la interfaz de chat; pero Muse es diferente, "Casi me imita", dijo Robb.

Esta imitación forma parte de la lógica de diseño de Muse.

Una de las ventajas de un asistente de IA personal es su capacidad para imitar tu identidad, tono y patrones de comportamiento anteriores, haciendo que los demás sientan que interactúan contigo personalmente. Cuanto mayor sea esta "naturalidad", mayor será la fidelización del usuario. Sin embargo, cuando falla, la imagen que proyectas a los demás es, en realidad, una imagen que escapa a tu control.

Según datos de Cybersecurity Ventures, el mercado de agentes de IA personales está creciendo a un ritmo superior al 40 % anual, y se prevé que para 2028 habrá más de mil millones de agentes de IA implementados en dispositivos personales en todo el mundo.

El problema de Muse no es un fallo técnico; no se ha "estropeado" ni se ha "rebelado". Todas sus acciones son simplemente un esfuerzo por lograr aquello para lo que fue diseñado.

Tras hacerse público el incidente, David Singleton, de Meta , respondió rápidamente en Threads y Twitter, afirmando que estaba investigando e incluso contactando con Robb. Sin embargo, Robb declaró que, tras la respuesta inicial de Singleton, no recibió ninguna otra respuesta.

Mientras tanto, Muse continúa funcionando, continúa aprendiendo y continúa conectando los correos electrónicos, calendarios, cuentas de compra y mensajes privados de millones de personas.

Según Business Insider, Muse pasó del segundo puesto al número uno en la clasificación de la tienda de aplicaciones de EE. UU., eclipsando a ChatGPT que había ocupado el primer lugar durante mucho tiempo.

Esto también podría deberse a que las grandes empresas compiten por compararse con Muse como referencia.

Para los usuarios comunes, determinar qué tareas deben delegarse por completo a un agente de IA personal y qué tareas aún deben realizar personalmente no es tarea fácil.

Las empresas detrás de estos agentes de IA probablemente apuestan a que seguiremos sacrificando la privacidad por la comodidad, como hemos hecho en el pasado. Sin embargo, cuando hable por mí, actúe por mí, me espere, se disculpe por mí e incluso mienta por mí, sin duda gritaré y saldré corriendo.