La nueva herramienta Shap-E de OpenAI es Dall-E para objetos 3D
El último esfuerzo de OpenAI, Shap-E, es un modelo que le permite generar objetos 3D a partir de texto, similar a cómo Dall-E puede crear imágenes 2D.
Según OpenAI, Shap-E es “un modelo generativo condicional para activos 3D. A diferencia del trabajo reciente en modelos generativos 3D que producen una representación de salida única, Shap-E genera directamente los parámetros de funciones implícitas que se pueden representar como mallas texturizadas y campos de radiación neuronal”.
La publicación de GitHub de la compañía continúa explicando cómo se entrena a Shap-E en una combinación de mapeo de activos 3D y un modelo de difusión condicional.
Sin embargo, este programa gratuito es un poco más difícil de instalar y configurar que el siempre popular ChatGPT de la compañía, como lo exploró Tom's Hardware .
Puede descargar el modelo Shap-E en GitHub sin cargo y acceder a él en Microsoft Paint 3D. También funciona cuando se convierte en un archivo STL, lo que permite que los renderizados que cree cobren vida a través de impresoras 3D.
Si bien este conocimiento básico del modelo Shap-E puede parecer bastante simple, es posible que se requiera algo de conocimiento técnico para instalar y ejecutar el modelo.
El editor en jefe de la publicación, Avram Piltch, probó Shap-E, y afirma que le tomó ocho horas entenderlo. Agregó que OpenAI ofrece pocas instrucciones además de explicar que debe usar un comando pip de Python para la instalación.
Una vez instalado, Piltch dice que pudo probar las indicaciones con archivos GIF animados en color y archivos PLY monocromáticos, y los GIF animados fueron favorables, señaló.
Algunas indicaciones incluían un tiburón, una enredadera de Minecraft y "un avión que parece un plátano", todos los cuales tenían diferentes niveles de calidad según el tipo de archivo. Piltch también usó la función del modelo, que permite a los usuarios cargar una imagen 2D para convertirla en un objeto 3D.
El editor señaló que aquellos que intentan instalar Shap-E y renderizar objetos 3D deben tener en cuenta que el modelo requiere una gran cantidad de recursos del sistema de una PC.
En particular, Shap-E es compatible solo con GPU Nvidia y requiere CPU de alto rendimiento para renderizar en cuestión de minutos en lugar de horas.