El próximo modelo de IA de Meta requerirá casi 10 veces más potencia para entrenar

Meta , la empresa matriz de Facebook, continuará invirtiendo fuertemente en sus esfuerzos de investigación de inteligencia artificial , a pesar de esperar que la tecnología naciente requiera años de trabajo antes de volverse rentable, explicaron los ejecutivos de la compañía en la conferencia telefónica sobre ganancias del segundo trimestre de la compañía el miércoles.

Meta está "planificando los clústeres de computación y los datos que necesitaremos durante los próximos años", dijo el director ejecutivo Mark Zuckerberg en la llamada. Meta necesitará una "cantidad de computación… casi 10 veces más de la que usamos para entrenar a Llama 3", dijo, y agregó que Llama 4 "será el [modelo] más avanzado de la industria el próximo año". Como referencia, el modelo Llama 3 se entrenó en un grupo de 16.384 GPU Nvidia H100 de 80 GB .

La empresa no es ajena a emitir cheques para proyectos aspiracionales de investigación y desarrollo. Los resultados financieros del segundo trimestre de Meta muestran que la compañía espera gastar entre 37.000 y 40.000 millones de dólares en gastos de capital en 2024, y los ejecutivos esperan un aumento "significativo" en ese gasto el próximo año. "Es difícil predecir cómo afectará esto a varias generaciones en el futuro", comentó Zuckerberg. "Pero en este punto, prefiero arriesgarme a desarrollar capacidad antes de que sea necesaria y no demasiado tarde, dados los largos plazos para poner en marcha nuevos proyectos de inferencia".

Y no es que Meta no tenga dinero para gastar. Con un estimado de 3,27 mil millones de personas que utilizan al menos una aplicación Meta diariamente, la compañía obtuvo poco más de $39 mil millones en ingresos en el segundo trimestre, un aumento del 22% respecto al año anterior. De eso, la empresa obtuvo alrededor de 13.500 millones de dólares en beneficios, un aumento interanual del 73%.

Pero sólo porque Meta esté obteniendo ganancias no significa que sus esfuerzos en IA sean rentables. La directora financiera, Susan Li, admitió que su IA generativa no generará ingresos este año y reiteró que los ingresos de esas inversiones "llegarán en un período de tiempo más largo". Aun así, la empresa "continúa construyendo nuestra infraestructura de IA teniendo en cuenta la fungibilidad, para que podamos flexibilizar la capacidad donde creemos que se aprovechará mejor".

Li también señaló que los grupos de capacitación existentes se pueden reelaborar fácilmente para realizar tareas de inferencia, que se espera que constituyan la mayor parte de la demanda informática a medida que la tecnología madure y más personas comiencen a utilizar estos modelos a diario.

“A medida que ampliamos la capacidad de entrenamiento de IA generativa para avanzar en nuestros modelos básicos, continuaremos construyendo nuestra infraestructura de una manera que nos brinde flexibilidad en cómo la usamos a lo largo del tiempo. Esto nos permitirá dirigir la capacidad de capacitación para generar inferencias de IA o para nuestro trabajo central de clasificación y recomendación, cuando esperamos que hacerlo sea más valioso”, dijo durante la llamada sobre resultados.