He aquí por qué la gente afirma que GPT-4 vuelve a ser bueno

Aranzulla de Los Pobres

Parece que OpenAI está ocupado limpiando sus modelos de lenguaje GPT después de las acusaciones de que GPT-4 se ha vuelto "vago", "tonto" y ha estado experimentando errores fuera de la norma para el chatbot ChatGPT que circularon en las redes sociales a finales de noviembre.

Algunos incluso especulan que GPT-4.5 se ha implementado en secreto para algunos usuarios, según algunas respuestas del propio ChatGPT. Independientemente de si eso es cierto o no, definitivamente ha habido algunos cambios internos positivos en el pasado detrás de GPT-4.

¿Más GPU, mejor rendimiento?

Las publicaciones comenzaron a llegar el jueves pasado que notaron la mejora en el rendimiento de GPT-4. El profesor de Wharton Ethan Mollick, que anteriormente comentó sobre la fuerte caída en el rendimiento de GPT-4 en noviembre, también notó una revitalización en el modelo, sin haber visto ninguna prueba de un cambio a GPT-4.5 por sí mismo. Utilizando constantemente un intérprete de código para corregir su código, describió el cambio como "día y noche, tanto en velocidad como en calidad de respuesta" después de experimentar que ChatGPT-4 fue "poco confiable y un poco aburrido durante semanas".

Mientras esto sucedía, OpenAI reabrió silenciosamente sussuscripciones a ChatGPT Plus el miércoles pasado, cuyo registro estaba inactivo desde el 14 de noviembre. Altman declaró en una publicación X: "Gracias por su paciencia mientras encontramos más GPU".

No se sabe si existe una correlación entre el restablecimiento de los registros de ChatGPT Plus y la mejora de GPT-4, pero el momento es interesante. En particular, las inscripciones para la versión paga se cerraron poco después del primer DevDay de desarrolladores de OpenAI, donde la compañía presentó una serie de nuevas funciones para la versión paga del chatbot de IA. La compañía implementó una lista de espera para las suscripciones a ChatGPT Plus debido a que las suscripciones posteriores al DevDay excedieron la capacidad del servicio para procesar funciones.

Poco después, los usuarios comenzaron a informar sobre un comportamiento inusual de GPT-4 más allá de las bromas tradicionales de IA que ya se conocen. Una queja común era que GPT-4 “respondía” a los usuarios o requería múltiples explicaciones de un comando antes de poder ejecutar la consulta. Otra queja fue que el modelo explicaría a los usuarios cómo ejecutar su comando en lugar de ejecutar la tarea.

La degradación de GPT-4 se remonta al menos a julio, cuando un estudio observó una fuerte disminución en la precisión entre marzo y junio. Muchos, incluido el vicepresidente de productos de OpenAI, Peter Welinder, han sugerido que la calidad de las respuestas podría parecer insuficiente como fenómeno psicológico a medida que el modelo se actualiza. Algunos han agregado que los usuarios podrían beneficiarse al cambiar sus consultas para obtener los resultados deseados.

Aunque OpenAI se ha mantenido en silencio sobre su funcionamiento interno, la publicación X de Altman sobre las GPU fue probablemente un gran indicador de lo que está sucediendo detrás de escena. Los informes de abril indicaron que OpenAI necesitaría un exceso de 30.000 unidades de GPU para mantener su rendimiento comercial durante el resto del año. Eso fue antes del aumento de los intereses en noviembre.

¿Pruebas secretas de GPT-4.5 o simplemente alucinaciones?

Más allá de eso, las especulaciones sobre GPT-4.5 han aumentado con la filtración de varios otros detalles sobre una posible nueva versión de GPT.

El fundador del boletín @therundownai,Rowan Cheung , compartió recientemente en X (anteriormente Twitter) detalles de precios filtrados para un nuevo modelo GPT-4.5 que OpenAI tiene en desarrollo. Los detalles incluyen nuevos niveles de precios e información sobre capacidades multimodales avanzadas.

Cheung preguntó al director ejecutivo de OpenAI, Sam Altman, a través de la plataforma de redes sociales sobre la validez de la filtración, a lo que él respondió: "No".

Sin embargo, varios usuarios que han manejado la actualización propuesta están convencidos de que están usando GPT-4.5 y que es nuevo y mejor que nunca. Algunos le preguntaron al chatbot, que creían que ejecutaba GPT-4, cuál era su modelo, y respondió "GPT-4.5 Turbo".

Esto ha llevado a muchos a creer que OpenAI ha estado probando GPT-4.5, principalmente en sus aplicaciones móviles, con la esperanza de evadir a los usuarios expertos. Sin embargo, no todos han podido recrear estos resultados y el modelo les dirá que la última versión es simplemente GPT-4. Will Depue, empleado de OpenAI, también comentó sobre el asunto, calificándolo de "alucinación muy extraña y extrañamente consistente".

Cheung notó una publicación de la página oficial ChatGPT X, con emojis de cerebro y cabeza en las nubes, que cree que es la forma vaga de OpenAI de reiterar que las respuestas son alucinaciones.

En particular, OpenAI brinda acceso temprano y exclusivo a sus usuarios pagos, que incluyen usuarios de ChatGPT Plus , usuarios de API de desarrollador y usuarios empresariales. Cuando se anuncian funciones, estos se encuentran entre los primeros en experimentar las últimas versiones de GPT y sus funciones. Muchos de los que están jugando con los modelos y notando los cambios sutiles probablemente tengan algún tipo de acceso a la API de desarrollador o estén usando el servicio para probar el código y compartir sus aportes con el público.

Incluso si OpenAI está probando GPT-4.5, no se sabe cuándo podría ocurrir una actualización, especialmente cuando la empresa se está recuperando de la desestabilización organizacional y del servicio. Además, la empresa y el producto aún son nuevos y aún no está claro cómo es un ciclo de actualización de rutina. Por ahora, supongo que no importa en qué “versión” de ChatGPT estemos porque las mejoras parecen reales.