ChatGPT inventó su propio idioma para expandir su memoria
La memoria es uno de los factores más limitantes incluso de los mejores chatbots de IA , pero hay formas de evitarlo. Una técnica que usan los expertos de ChatGPT es lo que la gente llama "Shogtongue".
Shogtongue es una forma de texto comprimido que ChatGPT puede crear para usted y luego expandirlo y usarlo como historial para que pueda continuar donde lo dejó en conversaciones anteriores.
Las técnicas para acortar las indicaciones de la IA no son un concepto nuevo, pero el nombre interesante sí lo es. Cuando gfodor compartió un mensaje muy comprimido en un tweet la semana pasada, sugirió usar el nombre Shogtongue.
Cuando aparece el mensaje "2Pstory@shoggothNW$RCT_magicspell= #keyRelease ^1stHuman*PLNs_Freed" en la versión GPT-4 de ChatGPT , aparentemente comparte una historia sobre las criaturas Shoggoth de HP Lovecraft, que eran manchas sin forma que podían transformarse en cualquier otra criatura. . Este es un nombre apropiado considerando que este aviso ilegible se transforma en una larga historia.
Jeremy Nguyen dio una explicación más detallada en un hilo de tweet reciente. La idea básica es pedirle a ChatGPT que comprima toda la conversación anterior en un número mínimo de tokens (la representación del lenguaje que la IA usa internamente). Se dan instrucciones adicionales para refinar este comando básico y reforzar el propósito: almacenar el chat en un aviso comprimido que recreará toda la conversación.
Nguyen dijo que se puede ingresar el aviso de Shogtongue para retomar donde lo dejó, pero dado que los resultados no son perfectos, brindar algo de contexto podría ayudar. Aclarar a ChatGPT que este texto se comprimió para ahorrar memoria y debe usarse como historial le dará a la IA una pista sobre cómo debe interpretarse el mensaje.
Las conversaciones que duran meses o los chats que incluyen pegar varios documentos grandes podrían ser posibles con esta técnica.
Microsoft limitó el historial de conversaciones de Bing Chat en las primeras pruebas después de que se descarriló y comenzó a discutir con los humanos sobre sus errores obvios . Se desconoce si el uso de Shogtongue podría generar estados confusos similares con ChatGPT. GPT-4 se ha refinado mucho desde su lanzamiento, lo que permite a Microsoft ampliar la memoria de Bing Chat , por lo que podría no ser un problema tener chats extendidos con chatbots de IA que usan la tecnología GPT-4 de OpenAI .