Cómo el equipo de Thanos VFX dio vida a los personajes de The Quarry (y luego los mató)

El desarrollador de juegos Supermassive Games recibió muchos elogios por su aventura de terror cinemática interactiva hasta el amanecer , y la siguió con el "sucesor espiritual" de este año de ese éxito de 2015, The Quarry . El juego pone a los jugadores en control de un grupo de consejeros del campamento que se encuentran asediados por una variedad de amenazas mortales, tanto humanas como sobrenaturales, después de quedar varados en el campamento remoto donde pasaron el verano.

Al igual que hasta el amanecer , The Quarry cuenta con un elenco de actores familiares que representan a los personajes del juego, con una combinación de sistemas de captura de rendimiento de vanguardia y tecnología de efectos visuales al nivel de Hollywood que permite al elenco dar vida a sus contrapartes en el juego y poner los destinos de esos personajes en manos de los jugadores. Para llevar el trabajo de los actores en un escenario de captura de actuación al aterrador mundo del juego, Supermassive reclutó al estudio de efectos visuales ganador de un Oscar Digital Domain , mejor conocido por su trabajo al convertir a Josh Brolin en Thanos en Avengers: Infinity War .

Digital Trends habló previamente con el equipo de Digital Domain sobre el sistema de seguimiento facial Masquerade impulsado por IA que desarrollaron para Infinity War , que recibió una actualización significativa desde esa película de 2018. Ahora vuelve a ser el centro de atención en The Quarry , un juego creado con el sistema mejorado Masquerade 2.0 del estudio. El director creativo y supervisor de efectos visuales de Digital Domain en The Quarry , Aruna Inversin , y el productor sénior Paul "Pizza" Pianezza explicaron cómo una combinación de tecnología innovadora, técnicas cinematográficas inteligentes y actuaciones inspiradas del elenco del juego hicieron que la última aventura interactiva de Supermassive fuera tan emocionante para su equipo creativo como lo es para los jugadores.

[Nota: esta entrevista discutirá los puntos de la trama en The Quarry . Considere esto como una advertencia de spoiler si aún no ha jugado el juego.]

Tendencias digitales: en 2019, hablamos de Masquerade, el sistema de captura facial que Digital Domain desarrolló para Thanos en Avengers: Infinity War . Su equipo creó Masquerade 2.0 para hacer algo similar con The Quarry , pero con más personajes y durante mucho más tiempo en pantalla. ¿Cuáles fueron algunos de los grandes pasos en el camino?

Aruna Inversin: Thanos fue el producto más publicitado, porque es Marvel, pero gran parte de nuestro desarrollo [en los sistemas de captura facial] comenzó en 2007 cuando estábamos trabajando en El curioso caso de Benjamin Button . Mucho de [nuestro trabajo en esa película] fue resolverlo todo. Después de eso, trabajamos en Tron: Legacy , así que llevamos un tiempo promoviendo humanos digitales para largometrajes. Sin embargo, realmente dio un gran paso adelante con Thanos y el proceso Masquerade.

¿Qué te permiten hacer Masquerade y Masquerade 2.0?

Inversin: Nos permite tomar cualquier tipo de cámara principal y luego conducir un personaje digital, una cara digital, con ella. Para Thanos, fue interesante porque tuvimos una interpretación no humana de la actuación. Y, por supuesto, hubo animadores que entraron y lo modificaron para convertirlo en Thanos. Sin embargo, todavía hay una actuación subyacente de Josh Brolin. Desde entonces, hemos trabajado en la eficiencia en el lado del tiempo real: cómo hacer que Masquerade sea más en tiempo real, más eficiente y más rentable. Y al hacerlo, se nos ocurrieron un par de otros productos. Masquerade 2.0 es una combinación del seguimiento de la cabeza y todos los demás desarrollos auxiliares que lo hacen más eficiente. Hay un mejor seguimiento ocular automatizado, un seguimiento de integración más automatizado de dónde están los puntos en la cara, más aprendizaje automático… Es un aumento de diez veces en la cantidad de datos que podemos entregar e interactuar.

El tiempo total en pantalla de Thanos fue de 45 minutos. Ahora podemos ofrecer 32 horas [de rendimiento] en más personajes para The Quarry .

¿Cómo es el proceso general cuando recopilas datos de actores en algo como The Quarry ?

Paul Pianezza: Capturamos 32 horas de metraje, pero para empezar, hacemos conjuntos de entrenamiento. Tomaremos a los actores y haremos un escaneo de datos de ellos. Y a partir de eso, recopilamos unos 60 segundos de datos ROM (rango de movimiento). Luego hacemos un escaneo de todo el cuerpo. Después de eso, hacemos más ROM y capturamos más formas de caras para establecer una semejanza 1:1: cómo se mueve la cara y todo ese tipo de cosas. Ese es nuestro punto de partida. Y luego, cuando vamos a filmar todos los días, haremos aún más capturas de ROM a medida que actúan, por lo que el conjunto en el que trabajamos se hace más y más grande con el tiempo.

Una cosa es tener todo ese material en bruto, pero ¿qué tipo de desafíos sueles encontrar cuando tratas de manipularlo y editarlo en tiempo real para algo interactivo como un juego?

Inversin: Una vez que tenemos todos los conjuntos de entrenamiento, uno de los desafíos es que una vez que agregas la actuación de un actor a la mezcla, no solo se quedan parados y te muestran cómo se mueven la cara y el cuerpo. Están corriendo, saltando, luchando con hombres lobo y haciendo todo tipo de cosas. Y para rastrear eso, creamos nuevas tecnologías que nos permiten estabilizar la cámara principal y capturar el movimiento que no se ve afectado por el movimiento de la cámara principal, por ejemplo. Esas cámaras son bastante pesadas, por lo que tuvimos que evolucionar la estabilización y el seguimiento de la cámara y el sistema de aprendizaje automático para que cuando un personaje corra, veas que la cara se mueve con la gravedad mientras corre. Ese matiz en una actuación en tiempo real es algo que no obtienes si capturas la cara de un actor por separado de su actuación corporal. Nos gusta capturar todo simultáneamente para que los actores no solo tengan esa relación entre ellos, sino que el movimiento en sus rostros se corresponda con lo que están haciendo físicamente.

Pianezza: Y lo divertido es que, cuando capturas 32 horas de metraje con estas cámaras, encuentras todas las formas posibles de romperlas.

Inversin: ¿Verdad? Cables delante de la cara, cascos volando… Afortunadamente, teníamos una relación muy transparente con Supermassive. Cuando estábamos en el set y le decíamos a Will [Byles, director de The Quarry ] que un cable pasó frente a la cara de alguien o que una cámara principal se apagó o lo que sea, Will siempre tuvo la previsión de saber si era algo que necesitaba volver a disparar, o diría: “No hay problema. Voy a cortar alrededor de eso”.

Los sutiles movimientos faciales en el juego son fascinantes, como cuando alguien entrecierra los ojos ligeramente para sugerir que es escéptico, o mueve la barbilla de una manera diminuta que sugiere que está nervioso. ¿Cómo capturas ese nivel de sutileza y mantienes a los personajes fuera del valle inquietante ?

Pianezza: Esa es una de esas cosas de las que hablamos constantemente: las imperfecciones y las sutilezas que lo hacen real. Todo lo que capturamos fue diseñado para hacer eso. Por eso tenemos 32 horas, 4500 tomas de material. Y cuando tienes el sistema marcado con todo ese material, obtienes todas esas sutilezas en las actuaciones de los actores.

Inversin: uno de los grandes puntos de venta del sistema que hemos desarrollado es que reconoce que los movimientos sutiles (esas contracciones de los ojos y otras cosas que viste en el juego) son realmente importantes. Vienen directamente del actor. No hay animación adicional encima de ellos. Para que los actores sepan que su actuación será transferida a ese personaje digital con un gran nivel de fidelidad. Y solo va a mejorar con el tiempo.

Entonces, ¿cómo manejas las escenas de muerte en el juego? ¿Cambian la forma en que capturas las actuaciones o las traduces?

Inversin: Bueno, primero, ¿a quién mataste cuando jugabas? ¿Quién murió en tu guardia?

Dos consejeros murieron en mi juego, Abigail (Ariel Winter) y Kaitlyn (Brenda Song), con lo que estoy bastante satisfecho, dado mi número típico de muertes en la primera ejecución en juegos como este.

Inversin: Si fue la escena de la muerte de Abi en el cobertizo para botes, esa fue una de mis favoritas. Will dio instrucciones a los actores diciendo: “Está bien, debes pararte aquí, Ariel, y pretender caer de rodillas y morir. Y Evan [Evagora, quien interpreta al consejero Nick Furcillo en el juego], necesitas saltar sobre ella, pero no saltar hasta el final, porque vas a ser un hombre lobo en cierto punto”. Y así jugamos eso en el set. Ariel grita, cae de rodillas y se desploma. Y luego Nick salta y se detiene, y eso fue todo. Will dijo: “Toma perfecta. Hemos terminado. Y luego ambos dicen: "Espera, ¿qué va a pasar en la escena?" Pero después de que la cabeza de Abi se desprende y la cámara vuelve a ella desplomándose, esa fue una fotografía real de ella desplomándose y muriendo. La expresión de su rostro al final también fue una expresión que hizo en el set en sus últimos estertores. Esa expresión es totalmente suya. Simplemente sostuvieron ese marco. Ese día fue divertido.

Pianezza: Las personas también pueden morir de muchas maneras diferentes, pero es posible que solo puedas hacer dos tomas en un período corto porque, de lo contrario, perderán la voz por todos los gritos. Fue como, "Está bien, tengo que morir de nuevo, así que tomemos un descanso ahora para poder gritar más tarde". Tenías que planear un montón de muertes diferentes, distribuidas durante la filmación.

Inversin: Hubo un gran período con Justice [Smith, que interpreta al consejero Ryan], durante el capítulo siete u ocho, cuando está en la casa de los Hackett y lo persiguen. Ese día fue un poco loco. Fue como, "Está bien, Justice, vas a morir como seis veces hoy y cada una será horrible".

Hacer un seguimiento de todas las permutaciones de los arcos de la historia en un juego como este parece abrumador.

Pianezza: Todo fue Will. Fue realmente impresionante. Por ejemplo, Dylan [interpretado por Miles Robbins] puede perder su brazo en un momento, ya sea por una motosierra o por una escopeta.

Fui con la escopeta.

Pianezza: Vale, ya conoces esa escena. Cuando estaban filmando diferentes escenas más tarde, Will decía: "Está bien, tienes que hacer esto con la mano izquierda ahora porque es posible que hayas perdido el brazo derecho en este momento". Hace un seguimiento de todo en su mente.

¿Cómo aclimataste al proceso a los actores que podrían no estar familiarizados con la tecnología de captura de movimiento o los juegos de cine interactivos como este?

Pianezza: Digital Domain tiene una larga historia de hacer este tipo de cosas, por lo que podríamos mostrarles ejemplos de lo que Brolin hizo por Thanos, por ejemplo. Les dijimos: “No tienen que sobreactuar. Estás en buenas manos. Gran parte de lo que hacemos en los nuevos medios no es tradicional, por lo que hacemos mucha educación, para clientes, actores o quien sea. Y en este caso, básicamente les transmites que es como el teatro. No hay primeros planos, planos generales y medios, porque todo es virtual. Tenemos todas esas cámaras funcionando al mismo tiempo, esencialmente.

Inversin: Gran parte del elenco estaba realmente interesado en el proceso, y ser transparente con ellos y saber qué podría salir de él fue realmente bueno. Will fue excelente al dirigirlos y dijo: “Esto es como una obra de teatro. Podemos poner las cámaras en cualquier lugar”. Ese repertorio y camaradería entre los actores, sabiendo que podían acercarse mucho y hablar y actuar como en cualquier obra de teatro, fue muy importante para capturar a los personajes. La secuencia del prólogo con Ted Raimi, Siobhan Williams y Skyler Gisondo fue un gran momento de conjunto. Las bromas de ida y vuelta son muy buenas, y eso se logra al hacer que esos actores actúen como si fuera una obra de teatro.

¿Cómo reaccionaron cuando vieron los personajes que surgieron de sus actuaciones?

Pianezza: Lo que es realmente genial es que, para que la gente se sienta cómoda, podemos adjuntar su actuación a su propio cuerpo en el juego en tiempo real, de modo que si mueven el brazo, ven al personaje del juego moviendo el brazo. Especialmente con actores que nunca han hecho esto, hay un aspecto que es muy liberador, porque solo necesitas dar una gran actuación una vez. No necesita parar, volver a iluminar la escena o cambiar la posición de la cámara y hacerlo todo de nuevo. Puedes simplemente decir: “¡Gran actuación! Estás acabado. Porque lo único que nos importa es la actuación del actor. Podemos averiguar las cámaras y la iluminación y todo eso más tarde.

Inversión: la capacidad de encadenar tomas brinda la libertad de filmar rápidamente y mantener a los actores, al director y al equipo en la mentalidad de la actuación también. En un set tradicional, estás yendo y viniendo, cambiando luces y cámaras, etc., arrancando y deteniéndote. A veces eso saca a la gente del momento. Esto permite que todos realmente se queden allí.

¿Dónde ves sistemas como Masquerade llevando películas y juegos en el futuro? ¿Qué tipo de futuro para las películas y los juegos está creando?

Pianezza: Solo quiero ver explotar ese espacio narrativo interactivo. Mucha gente de ambos lados (juegos y efectos visuales) ama ambos. Y esto los combina de una manera tan genial. Sin embargo, lo que es realmente genial para mí es que creas estas cosas digitalmente, por lo que los campamentos en Hackett's Quarry existen para siempre. Si quieren volver a visitar ese mundo en algún momento, puedes hacerlo, porque es digital. No tienes que preocuparte por obtener un permiso para filmar en el lugar nuevamente, reconstruir escenarios, planificar tomas nocturnas o lo que sea, porque todo es digital. Todo está ahí. Simplemente regrese y encienda la computadora nuevamente.

Inversin: La oportunidad para DLC, especialmente, es enorme. Los activos están todos ahí, así que a medida que avanzas, puedes hacer este tipo de cosas recurrentes, y con esos mismos personajes, puedes amortizar el costo en diferentes episodios o capítulos. Puedes tener una serie de terror con cada episodio sucediendo cada dos meses, construida alrededor de esta banda de personajes que viven o mueren y cambian. Así que es fácil ver el potencial cinematográfico, interactivo y narrativo ahí, y es bastante poderoso. Recién estamos comenzando.

Supermassive Games y The Quarry de 2K ya están disponibles para Windows, PlayStation 4, PlayStation 5, Xbox One y Xbox Series X/S.