¿Por qué ni siquiera podemos tener un par de piernas en el metaverso de Meta y Microsoft?

Cuando ingresa a Horizon Worlds, la plataforma de realidad virtual social de Meta, con un visor Oculus Quest 2, crea un avatar para representarse a sí mismo.

Pero no se parece a ti de ninguna manera, no tiene la parte inferior del cuerpo, vaga por el aire como el fantasma de Hogwarts, y recientemente apareció en un comercial del Super Bowl .

Lo mismo ocurre con Microsoft al lado, en su portal de metaverso Mesh for Teams , tu avatar también pierde ambas piernas.

Entonces sueltas una pregunta: ¿por qué no hay piernas?

¿Qué tan difícil es agregar piernas?

Andrew Bosworth, vicepresidente de Reality Labs en Meta, desarrolló el hábito de hacer preguntas y respuestas improvisadas a través de Instagram mientras dirigía la división XR de la empresa. En una sesión de preguntas y respuestas el 10 de febrero , admitió que agregar piernas fue una tarea difícil.

Para representar las piernas de manera realista en la realidad virtual, primero necesita saber qué hacen las piernas en realidad y luego inferir qué se supone que deben hacer las piernas en la realidad virtual.

El quid aquí es que mientras Quest 2 es capaz de rastrear la cabeza y la mano, y estimar la posición de tus brazos y pecho, no sabe dónde están tus piernas.

El Quest 2 tiene cuatro cámaras de gran angular en escala de grises, con las dos superiores hacia arriba y hacia un lado, y las dos inferiores ligeramente hacia abajo. Si miramos hacia adelante, estas cámaras generalmente pueden ver el brazo, y si nos sentamos o miramos hacia abajo, la cámara puede ver más del cuerpo.

Pero su rango de seguimiento siempre ha sido limitado. A veces, "obstáculos", como el abdomen, pueden bloquear la vista de la cámara; a veces, cuando inclinamos o giramos la cabeza, esas cámaras que miran hacia abajo no pueden ver las piernas.

Meta también quiere hacer que el factor de forma de los auriculares sea más pequeño, lo que dificulta que la cámara vea las piernas.

¿Qué hay de poner sensores adicionales en las piernas? Es teóricamente posible, pero hay pocos sensores y controladores disponibles comercialmente para las piernas.

HTC vende varios auriculares Vive VR dirigidos principalmente a usuarios comerciales, así como rastreadores que se adhieren a extremidades u objetos como raquetas de tenis. Sin embargo, el rastreador solo es compatible con auriculares conectados a una computadora y requiere una estación base.

Cuando se trata de estaciones base, surge la razón central de "sin piernas", es decir, el método de posicionamiento de Quest 2. La tecnología de posicionamiento de los auriculares VR se puede dividir en dos categorías, una de afuera hacia adentro y la otra de adentro hacia afuera.

De afuera hacia adentro necesita colocar dispositivos de puntos de posicionamiento con anticipación. Los dispositivos de puntos de posicionamiento emitirán láseres, rayos infrarrojos, luz visible, etc. para cubrir el espacio entre los dispositivos de puntos de posicionamiento y establecer información de posición tridimensional. La posición y el movimiento del usuario se determinan por triangulación.

Quest 2 está al revés. No necesita configurar un dispositivo de posicionamiento adicional, instalar una cámara en el auricular VR, dejar que el dispositivo detecte cambios en el entorno externo por sí mismo y luego usar el algoritmo SLAM para calcular la posición espacial. y dirección de movimiento de la cámara.

En pocas palabras, el posicionamiento de adentro hacia afuera no requiere una estación base, lo que amplía el espacio de uso y es más adecuado para el entretenimiento diario y los escenarios móviles; de afuera hacia adentro puede proporcionar efectos de seguimiento más amplios y precisos, y captura de movimiento de cuerpo completo generalmente se basa en la configuración de seguimiento de afuera hacia adentro.

Dado que el seguimiento de cuerpo completo no está disponible actualmente, Meta "corta" la cintura por debajo.

El método de posicionamiento también está relacionado con los hábitos de uso y la dirección estratégica de la empresa: cuanto más conveniente sea el desarrollo de la tecnología, mejor, y a los consumidores no necesariamente les importa qué tecnología utiliza la empresa. El Quest 2, que comienza en $299, está rezagado en precisión y latencia, pero es lo suficientemente amigable para el usuario promedio.

Ejecutar social en VR ha sido el objetivo de muchos fabricantes de VR.

Sin duda, Meta quiere impulsar la realidad virtual en el mercado de consumo masivo. Una representación física más realista, aunque probablemente despierte más interés en la realidad virtual, también podría hacer que la experiencia del usuario sea más engorrosa y costosa, al menos a corto plazo.

El llamado "menor de dos males", un umbral más bajo para el uso, es de gran importancia para la popularización de la realidad virtual.

Vale la pena mencionar que Timoni West , vicepresidente de realidad aumentada y virtual de Unity, propuso una solución: primero recopilar una gran cantidad de datos sobre patrones de caminata y luego, con la ayuda de IA, predecir las piernas en función de los movimientos de la cabeza. detectado por el auricular Movimiento del Ministerio.

Es posible que la IA no pueda predecir con precisión cada acción de un usuario específico, lo que conducirá a acciones no naturales reproducidas por la IA; la premisa de "recolectar una gran cantidad de datos de patrones de caminata" no es fácil. Cuando en algún momento en el futuro, todos tener uno en casa Cuando las cintas de correr omnidireccionales capturen el movimiento de las piernas, los modelos digitales del movimiento humano ya no serán difíciles.

En resumen, el seguimiento perfecto de las piernas en un dispositivo de realidad virtual todo en uno para consumidores es básicamente imposible sin una serie de sensores en o alrededor del cuerpo, como dijo O'Brien, gerente general de HTC América:

Lo que todo el mundo busca es una experiencia inmersiva que siempre ha sido de inmersión total, capaz de reproducir cada movimiento del cuerpo con unos auriculares todo en uno. Sin embargo, no podemos hacerlo todavía.

¿Quieres bailar?

En septiembre de 2019, Meta anunció un seguimiento manual preciso utilizando redes neuronales profundas en Oculus Quest.

Usando el Quest 2, podemos mover nuestras manos para realizar algunas operaciones simples en la interfaz del menú, o podemos sostener el mango para matar al Cuarteto en el juego.

En Horizon Worlds, los "monstruos sin piernas" flotantes pueden pasar el rato, encontrarse con amigos, disparar a los zombis o crear sus propios mundos.

¿Por qué es importante el seguimiento preciso de la mano? Porque desbloqueará toda una gama de nuevas experiencias: pausar películas en realidad virtual con gestos, expresarse de forma más natural en juegos sociales, saludar, adivinar, dar la mano, agarrar, chocar los cinco…

Por el contrario, si no necesita el uso de juegos como bailar, el seguimiento de piernas no parece tan necesario. Incluso sin seguimiento de piernas, el software puede simular acciones como caminar, ponerse en cuclillas, etc., haciéndote lucir "todo barba y cola".

Para hacer que caminar sea más realista en realidad virtual, algunos investigadores han introducido un esquema de retroalimentación de fuerza de realidad virtual para pies . Por ejemplo, la sensación somatosensorial al caminar incluye cambios en la escena visual, la retroalimentación de la planta del pie en el suelo y la sensación somatosensorial del movimiento de las extremidades. Por lo tanto, en teoría, al estimular y simular estos efectos somatosensoriales y visuales, también se puede simular una experiencia de caminar realista.

Si simplemente no te gusta, es suficiente con ponerte una "pierna ortopédica". Andrew Bosworth piensa de esta manera:

Podemos falsificar piernas para avatares y dejar que las personas vean imágenes completas entre sí y nadie notará la diferencia.

Por supuesto, Andrew Bosworth también admite que las prótesis de piernas no pueden reemplazar la experiencia de las piernas reales. La pierna protésica simplemente hace que tu avatar flotante se vea más natural en experiencias sociales simples de realidad virtual como pasar el rato, chatear, etc.

Pero sin un par de piernas flexibles, siempre siento que falta algo. En una experiencia de realidad virtual más inmersiva y realista, siempre necesitamos piernas, lo cual está representado por la plataforma social de realidad virtual VRChat.

Una característica importante de VRChat es que los personajes virtuales no están limitados. El modelo MMD conocido por las personas bidimensionales se puede convertir directamente en los personajes de VRChat, y Kirby, Bob Esponja y Hatsune Miku aparecen juntos. No solo eso, sino que más y más bailarines de realidad virtual compiten aquí en competencias de baile en tiempo real a través de rastreadores de movimiento atados a sus cuerpos.

Para realizar movimientos de baile de cuerpo completo en realidad virtual, el bailarín de VRChat de Corea del Sur, Makoto , tiene una combinación particularmente buena de rastreadores: un auricular HTC Vive con un complemento inalámbrico, controladores Index en la muñeca y Vive Trackers en la cintura y los pies.

Los entusiastas de la realidad virtual están dispuestos a pagar mucho dinero y energía por el seguimiento de todo el cuerpo, lo que significa que el umbral para tener "piernas reales" sigue siendo alto.

Pero a más largo plazo, la comunidad se forma en torno a estos eventos, la primera comunidad de baile de realidad virtual del mundo @IDA_officialVR realizó una serie de competencias de baile en VRChat, la realidad virtual realmente conecta de forma remota a personas que tal vez nunca se conozcan.

Seguimos esperando que la realidad virtual ofrezca más experiencias inesperadas a medida que la tecnología se vuelve mejor y más barata.

Tal vez se pueda ver a partir de la pregunta de "por qué no tienes piernas" que, en comparación con el concepto de metaverso de Zuckerberg, la tecnología de realidad virtual actual todavía está un poco lejos, y Horizon Worlds no es un metaverso completamente desarrollado.

Por otra parte, tal vez no a todos les guste tener piernas y no todos quieran ser un avatar que refleje su vida cotidiana.

Al menos, en el mundo de realidad virtual que todos pueden tocar en el futuro, deje que el "monstruo flotante sin piernas" se convierta en una elección, no en un arrepentimiento.

#Bienvenido a prestar atención a la cuenta oficial de WeChat de Aifaner: Aifaner (WeChat: ifanr), se le brindará más contenido emocionante lo antes posible.

Love Faner | Enlace original · Ver comentarios · Sina Weibo