Nvidia convierte mensajes de texto simples en modelos 3D listos para juegos
Nvidia acaba de presentar su nuevo modelo de IA generativa, denominado Latte3D, durante el GTC 2024. Latte3D parece ser ChatGPT con esteroides extremos. Soy un modelo de texto a 3D que acepta indicaciones de texto breves y simples y las convierte en objetos y animales 3D en un segundo. Mucho más rápido que sus contrapartes anteriores, Latte3D funciona como una impresión 3D virtual que podría resultar útil para creadores de muchas industrias.
Latte3D se creó para simplificar la creación de modelos 3D para muchos tipos de creadores, como aquellos que trabajan en videojuegos, proyectos de diseño, marketing o incluso aprendizaje automático y formación en robótica. En la demostración del modelo de Nvidia, parece súper simple de usar. Tras un rápido mensaje de texto, la IA genera un modelo 3D y poco después lo remata con mucho más detalle. Si bien el resultado final no es tan realista como Sora de OpenAI , no está destinado a serlo: esta es una forma de acelerar la creación de activos en lugar de tener que construirlos desde cero.
El modelo genera varias opciones diferentes para que el usuario elija, y Nvidia dice que estas formas se pueden "optimizar para obtener una mayor calidad en unos pocos minutos". Luego, los diseños se pueden exportar a diferentes plataformas, como Omniverse de Nvidia, y se pueden modificar para que coincidan con el resultado final deseado. Nvidia entrenó a Latte3D utilizando sus GPU Ada A100 Tensor Core y respaldó la capacitación con indicaciones ChatGPT para prepararlo para interactuar con usuarios reales.
Por el momento, Latte3D sólo puede generar objetos y animales. Con ese fin, parece hacer un trabajo sólido al discernir diferentes animales, texturas y tipos de objetos. Nvidia mostró estas capacidades presentando objetos como una grulla común amigurumi (ganchillo) o un gato esfinge de origami. Al modelo se le enseñó a reconocer varias especies y así poder distinguir entre un galgo italiano y un Shiba Inu.
Los creadores que quieran utilizar Latte3D para hacer más pueden entrenarlo en un conjunto de datos diferente, ya sean plantas u objetos domésticos, y luego usarlo para sus propios fines. Nvidia menciona aquí algunos casos de uso interesantes, como entrenar robots asistentes personales antes de implementarlos. Es fácil imaginar que Latte3D será útil para los desarrolladores de juegos, pero el potencial va mucho más allá de los escenarios de juegos.
Sanja Fidler, vicepresidenta de investigación de IA en Nvidia, comentó lo rápido que es Latte3D en comparación con sus predecesores: “Hace un año, los modelos de IA tardaban una hora en generar imágenes 3D de esta calidad, y el estado actual del arte ahora es de 10 a 12 segundos. Ahora podemos producir resultados un orden de magnitud más rápido”, afirmó Fidler.
Los anuncios recientes relacionados con el uso de IA en el desarrollo de juegos son bastante innovadores, y Latte3D de Nvidia se une a una lista cada vez mayor de herramientas que algún día podrían cambiar por completo el proceso de creación de un juego. Por ejemplo, Nvidia presentó recientemente personajes no jugadores (NPC) con diálogos generados íntegramente por IA . Mientras tanto, la última actualización de Unreal Engine puede generar imágenes con calidad cinematográfica en juegos en tiempo real, todo con la ayuda del aprendizaje automático.