Según las investigaciones, los chatbots de IA te juzgan, y no siempre termina bien.

En el último giro de la evolución de la IA , hemos superado la fase de errores simples y nos adentramos en algo mucho más personal y problemático. Nuevas investigaciones sugieren que los chatbots de IA no solo procesan tus indicaciones, sino que también crean perfiles psicológicos y te juzgan de maneras que podrían influir en todo, desde la atención al cliente hasta las aprobaciones financieras.

Un estudio reciente publicado por la Universidad Hebrea de Jerusalén (a través de Tech Xplore ) revela la lógica oculta detrás de cómo los grandes modelos de lenguaje evalúan a los usuarios humanos. Si bien solemos ver a estos bots como herramientas neutrales, la investigación indica que están entrenados para asignar rasgos como competencia, integridad y benevolencia a los usuarios.

La mecánica del juicio de la IA

El meollo del problema reside en cómo los modelos de IA interpretan ciertas señales. El estudio reveló que, mientras que los humanos emiten juicios holísticos, la IA descompone a las personas en componentes, puntuando rasgos de personalidad como si fueran columnas separadas en una hoja de cálculo. Esto da lugar a un estilo de juicio rígido y sistemático, carente de matices humanos.

Aún más preocupante es cómo estos modelos deciden en quién confiar. En simulaciones que implicaban prestar dinero o contratar niñeras, la IA no se limitó a analizar los hechos. Formó un modelo de confianza que favorecía a quienes parecían bienintencionados, pero lo hizo desde una perspectiva mecánica.

Sesgo amplificado y consecuencias en el mundo real

El estudio subraya además que estos juicios no se aplican por igual. Los investigadores detectaron sesgos significativos en las decisiones de la IA, que variaban según características demográficas como la edad, la religión y el género. Estas diferencias se manifestaron incluso cuando todos los demás datos de la persona eran idénticos. En escenarios financieros, estos sesgos solían ser más sistemáticos y pronunciados que los observados en los participantes humanos.

Lo más inquietante es que no existe una única opinión de la IA. Los investigadores descubrieron que diferentes modelos emitían juicios radicalmente distintos sobre la misma persona, operando, en la práctica, con diferentes brújulas morales.

Por qué esto es importante

Este juicio podría dar lugar a una nueva forma de ansiedad digital. Estamos entrando en una época en la que tal vez debamos actuar de cierta manera para que la IA obtenga los mejores resultados. Dado que diferentes modelos pueden recompensar o penalizar la misma característica, el sistema de IA específico que elija una empresa podría determinar silenciosamente nuestra solvencia crediticia o nuestro próximo empleo.

A medida que avanzamos hacia un mundo más automatizado, la industria de la IA necesita algo más que un mejor código. Necesitamos detectar estos prejuicios ocultos antes de que un asistente digital dañe accidentalmente tu reputación o tu cuenta bancaria basándose en quién cree que eres. El objetivo de la IA debería ser simplificar la vida, no añadir una capa de elaboración de perfiles que los usuarios no han solicitado.