Ahora puedes caminar por la luna con la IA de Nvidia. y tecnología de trazado de rayos
Además de lanzar 10 nuevas computadoras portátiles RTX Studio dirigidas a creadores en SIGGRAPH, Nvidia también anunció parte del trabajo que sus equipos de investigación han estado haciendo en los campos de inteligencia artificial, realidad aumentada y gráficos por computadora. En el 50 aniversario del alunizaje del Apolo 11, Nvidia mostró cómo la tecnología de trazado de rayos de su tarjeta gráfica RTX se utiliza para mejorar visualmente las imágenes capturadas por la NASA hace 50 años. En SIGGRAPH, el esfuerzo de Nvidia para conmemorar el Apolo 11 va un paso más allá, permitiendo a los fanáticos del espacio la oportunidad de superponerse en un breve video clip, como si fueran astronautas Neil Armstrong y Buzz Aldrin, utilizando la IA y el poder del trazado de rayos para renderiza estos videos en tiempo real.
"Lo que estamos haciendo es utilizar la inteligencia artificial para apuntar a una cámara y a las personas solo con su ropa de calle, para poder hacer una estimación de pose en 3D", explicó Rob Estes, Nvidia TKTK. "Sabemos dónde están en el espacio tridimensional, y sabemos cómo se mueven sus extremidades, así que estamos dibujando eso usando el trazado de rayos y colocandolo con su movimiento como astronauta en la escena".
Haciendo el moonwalk en el moon moon
Los directores de efectos visuales de Hollywood han estado haciendo algo similar durante años utilizando una pantalla verde y actores de captura de movimiento con trajes con puntos para replicar el movimiento de las extremidades, pero el trazado de rayos y la IA van un paso más allá al eliminar la necesidad de equipos y actores especializados. "Podrías hacer esto en cualquier lugar donde puedas filmar a alguien", explicó Estes sobre los beneficios del trazado de rayos habilitado para IA en este ejemplo lunar. Esencialmente, los asistentes a SIGGRAPH pueden filmar un video montaje de ellos mismos en el traje espacial de Aldrin y Armstrong haciendo la caminata lunar como si estuvieran en la luna como parte de la misión Apolo 11.
"Vamos a tener una maqueta de la superficie lunar y el módulo de aterrizaje lunar, y vamos a dejar que vean cómo sería para ellos estar en la luna", dijo, con Todos los efectos de iluminación y renderizado realizados en tiempo real. “Esta es una investigación muy avanzada, y nadie ha hecho esto antes. Estás combinando la IA y el trazado de rayos de una manera que tiene muchos, muchos beneficios prácticos ”. Estos beneficios no solo ayudan a Hollywood y sus equipos de efectos visuales, sino también a diseñadores e investigadores que intentan resolver problemas difíciles con la estimación de la investigación, Nvidia se expandió.
Representación focalizada con gafas graduadas
Nvidia quiere hacer que el renderizado para aplicaciones de realidad aumentada y virtual parezca más realista y nítido, y está aplicando su tecnología de renderizado para lograr esto. Lo que el equipo de investigadores de Nvidia ha hecho es agregar soporte para lentes recetados, el primero para la industria. Aunque esto todavía se encuentra en la etapa inicial de investigación en este momento, Nvidia prevé un día en el que los usuarios de anteojos recetados no necesitarán usar anteojos separados de sus dispositivos de realidad aumentada.
Nvidia está trabajando con varios tipos de pantallas para poder construir la pantalla VR o AR congruente con las gafas graduadas que pueda tener. "Esto es un gran problema", dijo Estes. "Nunca antes habías podido ver 20/20 porque simplemente no había la agudeza visual para estas pantallas".
De la misma manera que el trazado de rayos puede traer efectos cinematográficos realistas a los videojuegos, la representación engañosa puede hacer que las escenas y las imágenes AR parezcan más realistas con una mejor resolución al conservar la potencia de los gráficos. En lugar de renderizar toda la escena, la representación engañosa permite a los creadores renderizar la parte media de la escena en alta fidelidad, que es donde normalmente se enfocan sus ojos, y las áreas periféricas se pueden renderizar con menos detalle para ahorrar energía de la GPU.
"Así que estamos trabajando para asegurarnos de que estamos rastreando dónde está tu juego y aplicando esto para que obtengas velocidades de fotogramas más rápidas y mejores gráficos al hacer realidad aumentada, o esto podría aplicarse también a la realidad virtual". dijo Estes.
GauGAN, el artista de IA, es liberado
En el pasado, Nvidia mostró cómo su herramienta de dibujo GauGAN puede convertir incluso a los desafiados por el arte entre nosotros en artistas al permitirle dibujar paisajes complejos de la vida con solo unos simples trazos al aprovechar el poder de la inteligencia artificial. Las escenas dibujadas por AI, reveló Nvidia, también se han utilizado en algunas películas de Hollywood de renombre como telones de fondo, con estudios que superponen elementos que querían establecer el ambiente general para el clip.
En lugar de usar AI para identificar elementos de una escena, como un perro o un gato, GauGAN, como su nombre lo indica, usa una red de confrontación generativa o GAN. Al especificar dónde está el cielo dibujando una línea de horizonte y dónde el océano se encuentra con el cielo, GauGAN comienza a "dibujar" la escena con nubes y olas, y el usuario puede agregar rocas y acantilados a este paisaje marino, renderizando la escena con sombras y reflejos adecuados. Entonces, en lugar de identificar objetos en una imagen, GAN ayuda a completar la imagen con una creación y representación real de la escena, explicó Nvidia.
Dada la popularidad de la herramienta, Nvidia reveló que ampliará el acceso a GauGAN para todos. En este momento, Estes dijo que no hay planes para monetizar GauGAN, a pesar de su trabajo creativo en la industria del cine, y que la compañía simplemente disfruta de la alegría que otras personas obtienen al usarlo.