Utilicé una aplicación para crear modelos 3D con mi iPhone y es asombrosamente genial

El ritmo de innovación en la generación de imágenes de inteligencia artificial es fenomenal. Una empresa, Luma Labs, proporciona un excelente ejemplo de un uso práctico, pero enormemente entretenido, de la última tecnología aplicada a las imágenes en 3D.

Luma AI se encuentra en pruebas beta en el iPhone y eventualmente también estará disponible en Android. Entré en el grupo de prueba beta y puedo compartir información sobre lo que hace esta increíble aplicación y lo fácil que es obtener resultados increíbles.

¿Qué es Luma IA?

Luma AI es una aplicación y un servicio desarrollado por Luma Labs. Captura imágenes tridimensionales utilizando una técnica conocida como Neural Radiance Fields (NeRF). Es similar a la técnica de trazado de rayos que hace que los gráficos de los juegos de gama alta parezcan tan realistas.

Los NeRF existen desde hace algunos años, pero han existido principalmente en instalaciones de investigación hasta hace muy poco. Con la explosión de la generación de imágenes de IA, encabezada por las representaciones fotorrealistas de Dall-E , los NeRF están comenzando a ser explorados por un público mucho más amplio. La primera ola del nuevo software NeRF requería algunas habilidades de desarrollador e instalar paquetes de software de GitHub , y luego entrenar la IA en un conjunto de fotos. Era un poco demasiado para la persona promedio.

Luma Labs está a punto de simplificar drásticamente el proceso con su aplicación Luma AI. De principio a fin, todo el proceso se puede gestionar desde un iPhone y el resultado final también es más accesible.

Compatibilidad con Luma AI iPhone

Dado que Apple se esforzó por demostrar las capacidades de medición de profundidad 3D de los sensores LiDAR, es de esperar que Luma AI requiera el iPhone 14 Pro o iPhone 14 Pro Max más costoso para capturar modelos 3D. Sin embargo, los inteligentes desarrolladores de Luma Labs usan inteligencia artificial en su lugar. Eso hace que esta tecnología sea compatible con iPhones tan antiguos como el iPhone 11.

En el futuro, la aplicación estará disponible en Android y ya hay una versión web en pruebas beta. En una entrevista, el CEO de Luma Labs, Amit Jain, dijo que se espera que la aplicación para iPhone esté lista para su lanzamiento público en unas pocas semanas.

Cómo usar la IA de Luma

Para usar Luma AI, simplemente gira lentamente alrededor de un objeto a tres alturas diferentes. Una superposición de AR lo guía a través del proceso, que toma unos minutos y se vuelve más fácil después de algunos intentos a medida que se familiariza con el proceso. En poco tiempo, podrá capturar un objeto de tamaño mediano como una silla en un par de minutos.

Se pueden manejar objetos de cualquier tamaño porque, para Luma AI, es solo una serie de imágenes, sin importar cuán grande sea el sujeto. Si encierras en un círculo una taza, una estatua o un edificio, la idea general sigue siendo la misma.

La aplicación le avisará cuando tenga suficientes imágenes y, cuando eso suceda, aparecerá un botón Finalizar. También puede seguir haciendo círculos y llenando espacios en la nube AR de anillos y rectángulos que representan las fotos tomadas hasta el momento. La aplicación detendrá automáticamente la captura cuando se haya recopilado una cantidad ideal de fotos. También hay un modo de forma libre que te permite capturar aún más fotos, en diferentes ángulos y distancias. Puedes ver el proceso en el video de YouTube que creé a continuación. Es una aplicación para iPhone, por lo que es un video de retrato.

El procesamiento es el siguiente paso, que ocurre en los servidores de Luma Labs. Después de aproximadamente una hora, el NeRF terminado estará disponible en la aplicación en varias formas diferentes. La primera vista dada es un video generado, que muestra un sobrevuelo del objeto en su entorno natural. A continuación, se incluye una versión interactiva que le permite girar la vista arrastrando un dedo o un mouse por la imagen.

Lo más impresionante de todo es que el sujeto de la captura, extraído del fondo, también está disponible. Con esta representación, puede girar el objeto 3D en cualquier eje y hacer zoom para verlo más de cerca. La nitidez depende de cuántas imágenes se recolectaron y qué tan lento y estable fue durante el proceso de captura.

mejorando todo el tiempo

Luma Labs está actualizando la aplicación y el servicio a un ritmo notable. Una semana después de recibir la invitación para la prueba beta, se agregaron dos funciones nuevas y potentes que amplían enormemente las posibilidades. La primera es una opción de carga web que le permite capturar video sin la aplicación y luego cargarlo en el sitio web de Luma Labs para su procesamiento. Los resultados aparecen en línea y en la aplicación.

Esto significa que es posible usar cualquiera de los modos de cámara del iPhone, capturar videos con una cámara dedicada o incluso grabar videos con lentes AR como Ray-Ban Stories. Por ejemplo, un video de dron se vuelve aún más épico cuando puedes suavizar el movimiento y cambiar de dirección después de haber aterrizado. Luma Labs compartió un buen ejemplo que muestra una vista aérea de hojas de otoño en este tweet.

¡El otoño en Palo Alto es precioso! https://t.co/EwNkiv0DQV pic.twitter.com/hdd7iBLYgV

– Luma AI (@LumaLabsAI) 22 de octubre de 2022

La otra característica nueva abre oportunidades de edición, pintura e impresión en 3D. Las mallas 3D se pueden exportar con texturas en formato OBJ o GLTF. No están optimizados, pero se pueden ver con texturas intactas incluso con un visor en línea como el sitio web gratuito de código abierto Online3DViewer .

También es posible abrir los archivos 3D en un editor de mallas como el MeshLab gratuito de código abierto para eliminar cualquier artefacto perdido que aparezca como manchas flotantes, así como limpiar y simplificar el modelo antes de exportarlo en una variedad de formatos. La figura que se muestra arriba mide aproximadamente tres pulgadas de alto y fue esculpida por mi esposa, Tracey, para su negocio, ALittleCharacter . Luma AI capturó una notable cantidad de detalles en la escultura y el tronco sobre el que descansaba. MeshLab también podría haber seleccionado y eliminado el registro.

Los altibajos del escaneo 3D

Kyle Brussell compartió una exhibición de postres de una fiesta y mencionó que les pidió a los adultos que esperaran sus golosinas para poder capturarlas como un diorama digital.

Usé @LumaLabsAI en una fiesta de cumpleaños anoche, hice que un grupo de adultos no comieran postre, así que pude rodear la mesa con mi teléfono para hacer un sueño de IA en 3D de la configuración como una persona genial pic.twitter.com/sP0vVPB3yx

– Kyle Russell (@kylebrussell) 30 de octubre de 2022

Aunque Luma AI puede procesar video, se basa en imágenes fijas para construir una escena tridimensional. Eso significa que si el sujeto se mueve, podría reducir la calidad o la claridad de la captura. Una imagen en 3D de una persona sentada, como se muestra en el Tweet de Albert Bozesan, será buena. En el mismo tuit, la segunda captura de una escultura muestra lo que sucede cuando hay movimiento dentro de la escena. El fondo muestra personas que caminaban cerca del sujeto como formas distorsionadas.

Tomé dos @LumaLabsAI #NeRF junto a un lago bávaro hoy. Gran manera de capturar recuerdos, se siente como Minority Report. #Tegernsee pic.twitter.com/HLC0ekF7uD

– Albert Bozesan (@AlbertBozesan) 30 de octubre de 2022

Precio y disponibilidad de Luma AI

Luma AI se encuentra actualmente en pruebas beta y las invitaciones se envían periódicamente a través de la cuenta de Twitter de la empresa. Si tiene un iPhone compatible y está interesado en esta tecnología, es posible que pueda obtener acceso anticipado. También hay una lista de espera en el sitio web de Luma Labs .

El CEO de Luma Labs, Jain, indicó que el precio aún no se ha determinado y depende de qué tan amplia sea la base de usuarios y cómo se utilicen los resultados de los escaneos. Según estas declaraciones, podría haber una suscripción profesional con funciones más avanzadas y una suscripción personal por menos. Por el momento, seguirá siendo de uso gratuito.