Los modelos de IA como ChatGPT y Claude sobreestiman la inteligencia real de los humanos
Una nueva investigación sugiere que la forma en que la inteligencia artificial nos percibe podría ser demasiado optimista. Investigadores han descubierto que modelos de IA populares , como ChatGPT de OpenAI y Claude de Anthropic , tienden a asumir que las personas son más racionales y lógicas de lo que realmente son, especialmente en situaciones de pensamiento estratégico.
Esa brecha entre cómo la IA espera que se comporten los humanos y lo que la gente realmente hace podría tener implicaciones en cómo estos sistemas predicen las decisiones humanas en la economía y más allá.
Poniendo a prueba la IA frente al pensamiento humano
Los investigadores probaron modelos de IA, como ChatGPT-4o y Claude-Sonnet-4, en una configuración clásica de teoría de juegos llamada el concurso de belleza keynesiano. Comprender este juego ayuda a explicar la importancia de los hallazgos (vía TechXplore ).
En el concurso de belleza, los participantes deben predecir lo que elegirán los demás para ganar, no simplemente elegir lo que prefieren personalmente. En teoría, el juego racional implica ir más allá de las primeras impresiones y razonar sobre el razonamiento de los demás, una profunda capa de pensamiento estratégico con la que los humanos a menudo tienen dificultades en la práctica.
Para evaluar el rendimiento de los modelos de IA, los investigadores pusieron a prueba los sistemas con una versión de este juego llamado "Adivina el Número", donde cada jugador elige un número entre cero y cien. El ganador es aquel cuya elección se acerca más a la mitad de la elección promedio de todos los jugadores.
A los modelos de IA se les dieron descripciones de sus oponentes humanos, desde estudiantes universitarios de primer año hasta teóricos de juegos experimentados, y se les pidió no solo que eligieran un número, sino que explicaran su razonamiento.
Los modelos ajustaron sus números según a quién creían que se enfrentaban, lo que demuestra cierto pensamiento estratégico. Sin embargo, asumieron sistemáticamente un nivel de razonamiento lógico en los humanos que la mayoría de los jugadores reales no exhiben, a menudo jugando con demasiada inteligencia y, como resultado, fallando.
Si bien el estudio también reveló que estos sistemas pueden adaptar decisiones en función de características como la edad o la experiencia, aún les costó identificar las estrategias dominantes que los humanos podrían usar en juegos de dos jugadores. Los investigadores argumentan que esto pone de relieve el desafío constante de calibrar la IA al comportamiento humano real, especialmente para tareas que requieren anticipar las decisiones de otros.
Estos hallazgos también reflejan inquietudes más amplias sobre los chatbots actuales, incluyendo investigaciones que muestran que incluso los mejores sistemas de IA tienen una precisión de solo un 69% , y advertencias de expertos sobre la posibilidad de que los modelos de IA imiten convincentemente la personalidad humana , lo que genera inquietudes sobre su posible manipulación. A medida que la IA se siga utilizando en la modelización económica y otros ámbitos complejos, será esencial comprender dónde sus supuestos difieren de la realidad humana.
La publicación Los modelos de IA como ChatGPT y Claude sobreestiman la inteligencia real de los humanos apareció primero en Digital Trends .