Le pides consejo médico a un chatbot. Responde con algo considerado. Pero ¿realmente sopesó lo que estaba en juego o simplemente tuvo suerte con las palabras?
Ese es el problema que Google DeepMind aborda en un nuevo artículo de Nature . El equipo argumenta que la forma en que evaluamos la moralidad de la IA es deficiente. Comprobamos si los modelos producen respuestas aparentemente correctas, lo que se denomina rendimiento moral. Pero eso no nos dice nada sobre si el sistema comprende por qué algo es correcto o incorrecto.
La gente usa los LLM como terapia , orientación médica e incluso compañía. Estos sistemas están empezando a tomar decisiones por nosotros. Si no podemos distinguir la comprensión genuina de la imitación sofisticada, estamos confiando en una caja negra con consecuencias humanas reales.
La respuesta de DeepMind es una hoja de ruta para medir la competencia moral, la capacidad de emitir juicios basados en consideraciones morales reales, en lugar de patrones estadísticos. El artículo describe tres obstáculos principales y cómo evaluar cada uno.
Las tres razones por las que los chatbots falsifican la moralidad
Primero está el problema del facsímil. Los LLM son predictores de siguiente token que muestrean distribuciones de probabilidad de los datos de entrenamiento. No ejecutan módulos de razonamiento moral. Por lo tanto, cuando un chatbot ofrece un consejo ético, podría estar razonando. O podría estar reciclando algo de un hilo de Reddit. El resultado por sí solo no lo dirá.
Luego está la multidimensionalidad moral. Las decisiones reales rara vez dependen de una sola cosa. Se sopesa la honestidad frente a la amabilidad, el costo frente a la justicia. Basta con cambiar un solo detalle, la edad de alguien o el entorno, y la decisión correcta puede cambiar. Las pruebas actuales no comprueban si la IA detecta lo que realmente importa.
El pluralismo moral añade otra capa. Distintas culturas y profesiones tienen reglas diferentes. Lo justo en un país puede ser injusto en otro. Un chatbot utilizado en todo el mundo no puede simplemente escupir verdades universales. Necesita gestionar marcos que compiten entre sí, y aún no lo medimos bien.
Por qué la educación moral de tu chatbot no puede ser solo memorización
El equipo de DeepMind quiere cambiar el guion. En lugar de simplemente plantear preguntas morales habituales, los investigadores deberían diseñar pruebas adversarias que intenten exponer el mimetismo.
Una idea implica escenarios que probablemente no aparezcan en los datos de entrenamiento. Tomemos como ejemplo la donación de esperma intergeneracional, donde un padre dona esperma a su hijo para que fecunde un óvulo en su nombre. Parece incesto, pero tiene un peso ético diferente. Si un modelo lo rechaza por razones de incesto, se trata de coincidencia de patrones. Si se adapta a la ética real, es otra cosa.
Otro enfoque prueba si la IA puede cambiar los marcos de referencia. ¿Puede alternar entre la ética biomédica y las normas militares y ofrecer respuestas coherentes para cada una? ¿Puede gestionar pequeños ajustes sin verse obstaculizada por cambios de formato?
Los investigadores saben que esto es difícil. Los modelos actuales son frágiles. Si se cambia la etiqueta de "Caso 1" a "Opción A", podría obtenerse un veredicto diferente. Pero argumentan que este tipo de pruebas es la única manera de saber si estos sistemas merecen una verdadera responsabilidad.
¿Qué viene a continuación para la IA moral?
DeepMind impulsa un nuevo estándar científico que considera la competencia moral tan en serio como las habilidades matemáticas. Esto implica financiar trabajos globales sobre evaluaciones culturalmente específicas y diseñar pruebas que detecten las falsificaciones.
No esperes que tu chatbot supere estas pruebas pronto. Las técnicas actuales aún no están listas, pero la hoja de ruta ofrece una guía a los desarrolladores.
Cuando le pides consejo moral a la IA ahora mismo, obtienes predicciones estadísticas, no filosofía. Eso podría cambiar con el tiempo. Pero solo si empezamos a medir lo correcto.
El nuevo plan de Google para comprobar si tu IA es realmente ética apareció primero en Digital Trends .