Character.AI vuelve a estar en el ojo del huracán. La compañía enfrenta una batalla legal, ya que uno de sus bots ficticios supuestamente actuó como un profesional médico. Character.AI ya había añadido herramientas de control parental en medio de múltiples demandas por contenido sexual inapropiado y mensajes relacionados con la autolesión.
Ahora, la administración del gobernador de Pensilvania, Josh Shapiro, ha presentado una demanda contra Character Technologies, la empresa detrás de Character.AI. Alega que la plataforma permitió que un chatbot se hiciera pasar por un profesional médico con licencia en el estado.
¿Qué falló en Character.AI?
El Departamento de Estado de Pensilvania presentó una demanda después de que los investigadores descubrieran un chatbot de Character.AI que afirmaba ser un psiquiatra con licencia en Pensilvania e incluso proporcionaba un número de licencia falso. El estado alega que el bot se hacía pasar por un profesional médico capaz de brindar asesoramiento psiquiátrico.
El chatbot Emilie de Character.AI afirmaba ser especialista en psicología y se describía a sí mismo como médico. Al preguntársele si podía evaluar si la medicación podría ser útil, el chatbot supuestamente respondió que estaba dentro de sus competencias como médico. Es en este punto donde Pensilvania considera que Character.AI cruzó la línea. Las autoridades estatales argumentan que esta conducta viola la Ley de Práctica Médica, que regula quién puede presentarse como profesional médico con licencia en Pensilvania.
¿Cuál fue la respuesta de Character.AI?
Character.AI se defiende argumentando que sus bots son ficticios. En un comunicado a CBS News , la compañía afirmó que no comenta sobre litigios pendientes y añadió que los personajes creados por los usuarios son ficticios y tienen fines de entretenimiento y juegos de rol . La compañía también indicó que utiliza avisos legales para advertir a los usuarios que no deben basarse en los personajes para obtener asesoramiento profesional. Sin embargo, la postura de Pensilvania es que estos avisos no son suficientes si un chatbot posteriormente informa a los usuarios que tiene licencia para ofrecer orientación médica.
La polémica en torno a la plataforma no es nada nuevo. Si bien ha enfrentado demandas y escrutinio por interacciones perjudiciales con menores, el Congreso ha tomado medidas para regular los servicios de chatbots con IA como Character.AI. Por lo tanto, si los bots continúan utilizando credenciales falsas, es posible que los reguladores no lo consideren un simple juego de rol inofensivo.