Seguramente ya has visto el consejo que circula por ahí: dile a la IA que actúe como un experto en un campo y obtendrás mejores respuestas. Es un consejo popular, y a veces funciona. Sin embargo, un nuevo estudio sugiere que usar perfiles de IA podría no ser tan efectivo como pensábamos.
Investigadores de la Universidad de California probaron 12 perfiles diferentes en seis modelos de lenguaje. Estos perfiles abarcaban desde expertos en matemáticas y programación hasta escritores creativos y supervisores de seguridad. El objetivo era determinar el rendimiento de la IA al actuar como experta.
Los resultados fueron mixtos. Adoptar una personalidad hizo que la IA sonara más profesional y siguiera mejor las reglas. Sin embargo, también empeoró su capacidad para recordar datos. Según el estudio, usar una personalidad para la IA la lleva a un modo de seguimiento de instrucciones en lugar de un modo de recuperación de conocimiento, y esta desventaja reduce la precisión.
¿Cuál es la solución?
Para solucionar este problema, los investigadores desarrollaron PRISM, acrónimo de Persona Routing via Intent-based Self-Modeling (Enrutamiento de Persona mediante Automodelado basado en Intenciones). En lugar de usar siempre una persona o nunca usar ninguna, PRISM enseña a la IA a decidir qué es lo mejor para sí misma.
Cuando formulas una pregunta, PRISM genera dos respuestas: una en su modo predeterminado y otra en su perfil de usuario. A continuación, compara ambas y ofrece la respuesta que mejor se ajusta a la consulta específica.
La respuesta del experto no se descarta, incluso cuando la respuesta predeterminada es la ganadora. En cambio, el estilo de razonamiento se guarda en un componente ligero llamado adaptador LoRA, al que la IA puede recurrir posteriormente cuando sea necesario. La solución parece sencilla, pero es eficaz.
¿Qué tal funcionó PRISM?
PRISM mejoró la puntuación general de la IA en uno o dos puntos en MT-Bench, una prueba que mide la capacidad de la IA para seguir instrucciones y mantenerse útil. Para tareas de escritura y seguridad, los perfiles de usuario resultaron útiles. Para preguntas de conocimiento básico, prescindir de los perfiles de usuario fue la mejor opción.
Los investigadores planean probar PRISM con más perfiles de usuario y perfeccionar su capacidad para ofrecer mejores respuestas. Aún es pronto, pero esto podría cambiar para siempre la forma en que interactuamos con la IA.