¿La IA ya se está estancando? Un nuevo informe sugiere que GPT-5 puede estar en problemas
El modelo Orion de ChatGPT de próxima generación de OpenAI, del que se rumorea y se niega que llegue a finales de año, puede no ser todo lo que se esperaba que fuera una vez que llegue, según un nuevo informe de The Information .
Citando a empleados anónimos de OpenAI, el informe afirma que el modelo Orion ha mostrado una mejora "mucho menor" con respecto a su predecesor GPT-4 que la que mostró GPT-4 con respecto a GPT-3 . Esas fuentes también señalan que Orion "no es confiablemente mejor que su predecesor [GPT-4] en el manejo de ciertas tareas", específicamente en la codificación de aplicaciones, aunque el nuevo modelo es notablemente más fuerte en capacidades de lenguaje general, como resumir documentos o generar correos electrónicos .
El informe de Information cita una “suministro cada vez menor de texto de alta calidad y otros datos” sobre los cuales entrenar nuevos modelos como un factor importante en las ganancias insustanciales del nuevo modelo. En resumen, la industria de la IA se está topando rápidamente con un cuello de botella en los datos de capacitación, ya que ha eliminado las fuentes fáciles de datos de redes sociales de sitios como X, Facebook y YouTube (este último en dos ocasiones diferentes ). teniendo dificultades para encontrar el tipo de desafíos de codificación complicados que ayudarán a hacer avanzar sus modelos más allá de sus capacidades actuales, lo que ralentizará su capacitación previa al lanzamiento.
Esa reducción de la eficiencia de la formación tiene enormes implicaciones ecológicas y comerciales. A medida que los LLM de primera línea crecen y elevan aún más sus recuentos de parámetros a billones, se espera que la cantidad de energía, agua y otros recursos se multiplique por seis en la próxima década . Es por eso que estamos viendo a Microsoft intentar reiniciar Three Mile Island , AWS comprar una planta de 960 MW y Google comprar la producción de siete reactores nucleares, todo para proporcionar la energía necesaria para su creciente colección de centros de datos de IA: los actuales del país. la infraestructura eléctrica simplemente no puede seguir el ritmo.
En respuesta, como informa TechCrunch , OpenAI ha creado un "equipo de fundamentos" para evitar la falta de datos de capacitación adecuados. Esas técnicas podrían implicar el uso de datos de entrenamiento sintéticos, como los que puede generar la familia de modelos Nemotron de Nvidia . El equipo también está buscando mejorar el rendimiento del modelo después del entrenamiento.
Ahora se espera que Orion, que originalmente se pensó que era el nombre en clave de GPT-5 de OpenAI, llegue en algún momento de 2025. Si tendremos suficiente energía disponible para verlo en acción, sin apagones en nuestras redes eléctricas municipales, Queda por ver.