Elon Musk dice que el mundo se está quedando sin datos para el entrenamiento de IA

Elon Musk, director ejecutivo de Tesla/X, parece creer que entrenar modelos de IA con datos creados únicamente por humanos se está volviendo imposible. Musk afirma que hay una creciente falta de datos del mundo real con los que entrenar modelos de IA, incluido su chatbot Grok AI.

"Hemos agotado básicamente la suma acumulada del conocimiento humano… en el entrenamiento de IA", dijo Musk durante una entrevista transmitida en vivo por X realizada por el presidente de Stagwell, Mark Penn. "Eso sucedió básicamente el año pasado".

Los comentarios de Musk reflejan los del ex investigador de OpenAI Ilya Sutskever, quien predijo en diciembre pasado que la industria de la IA había alcanzado "datos máximos". La solución de Musk a este problema (datos sintéticos) también refleja la industria en general. Google, OpenAI, Anthropic y Meta ya aprovechan los datos sintéticos para entrenar sus modelos.

"La única forma de complementar [los datos del mundo real] es con datos sintéticos, donde la IA crea [datos de entrenamiento]", dijo Musk. "Con datos sintéticos… [la IA] se calificará a sí misma y pasará por este proceso de autoaprendizaje".

Si bien el uso de datos sintéticos puede ofrecer importantes ahorros de costos a las empresas, algunos estudios sugieren que una dependencia excesiva de los datos sintéticos puede llevar al colapso del modelo, donde las respuestas de la IA se vuelven menos creativas y más sesgadas con el tiempo a medida que se entrenan repetidamente en datos generados recursivamente. datos.

La falta de datos derivados de humanos no ha impedido que X incorpore su función Grok AI a su propia aplicación para iOS el jueves . El chatbot y el generador de imágenes, notables por su total falta de propiedad intelectual o barreras de seguridad de contenido , solían estar disponibles solo para personas que pagaban $8 al mes por una cuenta X premium . Sin embargo, cualquiera puede descargar la nueva aplicación de forma gratuita.