No vas a creer cuánto cuesta operar ChatGPT

Un nuevo informe afirma saber cuánto cuesta ejecutar ChatGPT por día, incluido cuánto cuesta aproximadamente cada consulta. El popular chatbot de conversión de texto a voz podría haber desencadenado una revolución de IA en noviembre de 2022, pero ha resultado extremadamente costoso de mantener.

El nuevo informe proviene de Dylan Patel, analista jefe de la firma de investigación SemiAnalysis , quien dice que cuesta aproximadamente $700 000 por día, o 36 centavos por consulta, mantener el chatbot en funcionamiento.

Es tan costoso, de hecho, que Microsoft podría estar desarrollando sus propios chips de inteligencia artificial patentados para ayudar en el mantenimiento de la operación de ChatGPT de OpenAI, según Windows Central .

Además de llegar rápidamente a los 100 millones de usuarios activos en enero, una hazaña que anteriormente les tomó años a las marcas de tecnología, ChatGPT ha tenido problemas con problemas de alto tráfico y capacidad que ralentizan y colapsan sus servidores. La compañía intentó remediar esto mediante la introducción de un nivel pago de ChatGPT Plus , que cuesta $ 20 por mes, sin embargo, no se sabe cuántos usuarios se suscriben a la opción paga.

OpenAI actualmente usa GPU Nvidia para mantener no solo sus propios procesos de ChatGPT, sino también los de las marcas con las que se asocia. Los analistas de la industria esperan que la compañía probablemente requiera 30,000 GPU adicionales de Nvidia para mantener su desempeño comercial solo durante el resto de 2023.

Con Microsoft como uno de sus principales colaboradores e inversores , OpenAI podría estar buscando la marca tecnológica para ayudar a desarrollar hardware para reducir el costo de las operaciones de ChatGPT. Según Windows Central, Microsoft ya tiene este chip AI en proceso. Con el nombre en código Athena, actualmente se está probando internamente con los propios equipos de la marca. Se espera que el chip se presente el próximo año para los servicios Azure AI de Microsoft.

No se sabe cómo o cuándo el chip llegará a OpenAI y ChatGPT, pero se supone que así será. La conexión proviene del hecho de que ChatGPT es compatible con los servicios de Azure. Es posible que el chip de IA no reemplace por completo a las GPU de Nvidia, pero podría ayudar a disminuir la demanda del hardware, reduciendo así el costo de ejecutar ChatGPT, agregó Windows Central.