Anthropic pretende solucionar uno de los mayores problemas de la IA en este momento
Inmediatamente después del anuncio de que su modelo de lenguaje grande Claude 3.5 Sonnet superó a otros modelos líderes , incluidos GPT-4o y Llama-400B, la startup de inteligencia artificial Anthropic anunció el lunes que planea lanzar un nuevo programa para financiar el desarrollo de idiomas independientes. pruebas comparativas de terceros con las que evaluar sus próximos modelos.
Según una publicación de blog, la compañía está dispuesta a pagar a desarrolladores externos para crear puntos de referencia que puedan "medir eficazmente capacidades avanzadas en modelos de IA".
"Nuestra inversión en estas evaluaciones tiene como objetivo elevar todo el campo de la seguridad de la IA, proporcionando herramientas valiosas que beneficien a todo el ecosistema", escribió Anthropic en una publicación de blog el lunes . "Desarrollar evaluaciones de alta calidad y relevantes para la seguridad sigue siendo un desafío y la demanda está superando la oferta".
La compañía quiere que se presenten puntos de referencia para ayudar a medir el "nivel de seguridad" relativo de una IA en función de una serie de factores, incluido qué tan bien resiste los intentos de coaccionar respuestas que podrían incluir la ciberseguridad; químicos, biológicos, radiológicos y nucleares (QBRN); y desalineación, manipulación social y otros riesgos para la seguridad nacional. Anthropic también está buscando puntos de referencia para ayudar a evaluar las capacidades avanzadas de los modelos y está dispuesto a financiar el "desarrollo de decenas de miles de nuevas preguntas de evaluación y tareas de principio a fin que desafiarían incluso a los estudiantes graduados", esencialmente probando la capacidad de un modelo para sintetiza conocimiento de una variedad de fuentes, su capacidad para rechazar solicitudes de usuarios maliciosos redactadas inteligentemente y su capacidad para responder en múltiples idiomas.
Anthropic busca tareas "suficientemente difíciles" y de gran volumen que puedan involucrar hasta "miles" de evaluadores en un conjunto diverso de formatos de prueba que ayuden a la empresa a informar sus esfuerzos de modelado de amenazas "realistas y relevantes para la seguridad". Cualquier desarrollador interesado puede enviar sus propuestas a la empresa, que planea evaluarlas de forma continua.