Utilicé Vidu Q4 Preview para crear una banda de chicos a partir de Ultraman y Dario, y empecé a bailar al ritmo de APT

Cuando Marlon Brando aspiraba al papel de Corleone en "El Padrino", el estudio pensó que ya había pasado su mejor momento y se negó a contratarlo. Finalmente, consiguió el papel gracias a una audición grabada en vídeo: se metió dos bolas de algodón en las mejillas, se encorvó y leyó unas líneas a la cámara con voz ronca.

Hollywood insiste casi supersticiosamente en este aspecto. No importa cuántos premios hayas ganado ni lo alto que sea tu precio, si quieres formar parte del reparto, primero tienes que actuar para mí durante unas cuantas decenas de segundos.

Este sistema puede sonar duro, pero filtra el elemento más costoso de una película: la actuación. Si una simple mirada es efectiva, si una emoción se transmite con fluidez, se puede determinar en apenas unas decenas de segundos. El presupuesto total de la película, de cientos de millones de dólares, depende en última instancia de esos pocos segundos de juicio.

Por lo tanto, la esencia de las audiciones es verificar las habilidades más valiosas al menor costo posible.

Recientemente recibimos una versión preliminar de un modelo de vídeo. Siguiendo la misma lógica, su objetivo es permitir que los vídeos generados por IA posean las habilidades de actuación más costosas a un precio menor. Un vídeo de prueba tiene un coste inicial de 0,09 yuanes por segundo.

Esta es la nueva Vidu Q4 Preview de Shengshu Technology, una versión preliminar del modelo de video de próxima generación. En comparación con su predecesora, la Q4 presenta mejoras significativas en todos los aspectos. Su posicionamiento oficial la define como un " modelo insignia de alto rendimiento ", centrado en la interpretación de personajes, la tensión de la cámara y los efectos especiales complejos.

Obtuvimos acceso anticipado a Vidu Q4 Preview y lo tratamos como a un actor en una audición, poniendo a prueba sus "habilidades interpretativas" escena por escena.

Cuando los modelos de vídeo comienzan a presentar tomas lógicamente coherentes, pueden rotar en diversos ángulos e incluso alcanzar resoluciones de hasta 4K, un buen modelo de generación de vídeo puede necesitar saber qué tomas se están filmando. El tema, la emoción y el ritmo narrativo no mejoran necesariamente solo con aumentar el número de movimientos de cámara.

Nuestra primera impresión de la vista previa del cuarto trimestre de Vidu es que, en realidad, es bastante "Vidu".

Parece que nunca se conforma con generar un vídeo de forma sencilla y sin complicaciones. Si puede recrear una pelea, la hará lo más realista posible; si puede grabar desde diferentes ángulos, no se limitará a filmar; si puede crear una explosión, también incorporará fuego, humo y personas a la toma.

Esta preferencia por la acción a gran escala, las tomas complejas y las emociones intensas se hizo aún más evidente en Vidu Q4 Preview. Sin embargo, en esta ocasión, se empezó a prestar más atención a si los personajes tenían un papel que desempeñar, por qué se movía la cámara y si estos elementos podían, en última instancia, combinarse para crear un vídeo visualmente atractivo.

La clave de la capacidad de Vidu Q4 Preview para generar un vídeo excelente reside en su mayor expresividad y libertad creativa, con un coste de tan solo 0,09 yuanes por segundo.

Podemos experimentar el último modelo Vidu Q4 Preview en el sitio web oficial de Vidu. Esta es la primera versión preliminar del Q4 lanzada para creadores. Actualmente, sus videos de referencia admiten hasta 15 imágenes de referencia, 3 segmentos de audio de referencia y configuraciones de salida de ultra alta definición 2K y 4K opcionales.

Enlace para experimentar: https://www.vidu.cn/home/recommend

Como alternativa, puedes introducir el código de invitación exclusivo de APPSO, APPSOQ4, para iniciar sesión en vidu.cn. Los nuevos usuarios pueden recibir 500 puntos al registrarse.

Una sola mirada es más difícil de detectar que una explosión.

Si existe una unidad mínima que constituya un buen desempeño, esa debe ser la "reacción".

Solo necesitamos dos segundos para escuchar una frase, pero el cambio de medio segundo en el rostro de un personaje —desde que la escucha, la procesa, hasta que decide responder— es la base para que juzguemos si "esta persona es real o falsa".

Quienes afirman que la IA no puede reemplazar a los actores humanos también creen que estas "reacciones" son algo que la IA jamás podrá aprender. La IA puede poner una expresión de tristeza, pero no puede representar el proceso de "sentirse triste".

Encontramos un fragmento de "Dune" que ya habíamos probado con otros modelos de vídeo. En un palacio azul oscuro que recuerda a las dunas de arena, la sorpresa de la reina se transforma en miedo e ira, culminando en una sola mirada. La escena carece por completo de movimiento o puesta en escena estática; los 16 segundos se basan casi exclusivamente en dos primeros planos, uno delante del otro.

El efecto generado, naturalmente, no es tan bueno como la versión original con actores reales, pero la secuencia de la reacción de la reina en el vídeo de IA —desde escuchar, hacer una pausa, apartar la mirada primero y luego volverla lentamente— es exactamente como un actor de carne y hueso manejaría el hecho de "darse cuenta de la verdad".

También encontramos un fragmento de película que se ha incluido en el material didáctico de la Academia de Cine de Pekín, la escena "Yo te cuidaré" de "El rey de la comedia". Yin Tianchou llama a Liu Piaopiao en la calle después de la lluvia, y Liu Piaopiao se da la vuelta y sonríe, diciendo "Primero deberías cuidarte", antes de darse la vuelta y derrumbarse solo en el asiento trasero de un taxi.

La dificultad de esta escena reside probablemente por completo en la segunda mitad, donde Cecilia Cheung retrata el proceso de pasar de la risa al llanto, representando el colapso de una presa.

Se puede apreciar que la vista previa de Vidu Q4 aún presenta algunas deficiencias en la fase de previsualización. Si bien muestra todo el proceso, desde la risa hasta el llanto, además de la expresividad, el ritmo general no parece lo suficientemente natural por el momento.

Esto concuerda con el propósito de la versión preliminar: primero entregar el modelo a los creadores, exponer los problemas y recopilar comentarios mediante su uso en el mundo real, y luego continuar iterando hacia la versión oficial.

Sin embargo, cuando la interpretación no requiere cambios emocionales tan drásticos, la vista previa del cuarto trimestre tendrá una comprensión mucho más estable del estado del personaje.

En otro caso de Dune, después de que el soldado herido respondiera "no es mi visión", la cámara se detuvo en su rostro cansado pero alerta, con los puntos de sutura alrededor de sus ojos visibles en varios puntos de muestreo.

Esta interpretación más contenida resultó mucho más natural. Y esta expresividad no solo se reflejó en las expresiones faciales; en las dinámicas escenas de acción, el avance de Vidu Q4 también mostró interpretaciones muy características de Vidu.

Al fin y al cabo, comparado con dos personas sentadas charlando tranquilamente, el lado más reconocible de Vidu siguen siendo esas grandes y dramáticas acciones que son un poco infantiles, un poco apasionadas, y que te dan ganas de lanzar la cámara al campo de batalla.

Así que simplemente pusimos al elegido de Black Myth: Wukong y al alma de Shadow Blade Zero en un templo en ruinas durante un aguacero y los dejamos luchar.

En las indicaciones especificamos una combinación completa que incluía un deslizamiento rápido, un tajo horizontal a la cabeza, un bloqueo largo con el bastón, un barrido giratorio hacia atrás, un salto por encima del bastón y un tajo final al aterrizar. El modelo presentó esta ejecución según los diferentes movimientos de cámara.

Sorprendentemente, no recurrió a los primeros planos frecuentes para ocultar la posición de los dos personajes, ya que este es el método de "trampa" más común utilizado en las escenas de acción de IA en el pasado.

El efecto de vídeo generado sigue un enfoque típico del estilo "Vidu": primero, hay una premisa cautivadora, y luego se añaden las acciones, los ángulos de cámara y los efectos especiales.

El movimiento de la cámara debe estar al servicio de la narrativa.

Si la acción trepidante y los movimientos espectaculares son lo que hacen que Vidu sea memorable, entonces la forma en que la cámara se mueve al ritmo de esos movimientos es probablemente la otra mitad del "sabor Vidu".

Las películas malas y las buenas suelen usar el mismo número de planos; la única diferencia radica en si la cámara sabe lo que está filmando.

Así como seguir a un sujeto busca que el espectador lo comprenda, rodearlo nos ayuda a ver la relación con claridad, y avanzar la cámara busca intensificar las emociones. El problema con los videos de IA en el pasado era que, si bien la cámara se movía, al hacerlo la persona desaparecía y el espacio se volvía caótico.

Primero, le hicimos grabar algunos vídeos FPV, mostrando una huida en primera persona desde el interior de la boca de un gusano de arena. Incluso después de grabar varias tomas, el modelo seguía encontrando el mismo punto brillante en el hueco entre los dientes, y la transición de la exposición de oscuro a brillante se lograba mediante la oclusión de la salida real.

Otro vídeo imita la escena de «La Odisea» en la que un antiguo barco escapa de las garras de un cíclope. El avance de Vidu Q4 añade más detalles, mostrando cómo la presencia del colosal objeto afecta de forma realista a la iluminación de la escena. El final del vídeo, que pasa del imponente brazo a un vasto mar dorado, demuestra claramente al espectador que el peligro ha pasado.

Un movimiento de cámara más complejo es el del gusano de arena mecánico en esta escena de Dune, que se desplaza desde una vista panorámica de la multitud hasta el jinete en la cima.

La cámara sigue, gira y sube y baja a la vez, mientras tres gusanos de arena mecánicos gigantes cargan hacia adelante. El objetivo se mueve desde la altura del pecho de la multitud que huye hasta el lateral del gusano de arena principal, y luego se eleva para alcanzar al jinete en la cima.

En general, la Vidu Q4 Preview destaca por su excelente dirección de la cámara y la estabilidad del sujeto, pero algunos detalles, como el control del estilo visual y el problema de la ilusión óptica que se encuentra comúnmente en la IA, aún necesitan optimización.

Cambios en el mundo tras la explosión.

En lo que respecta a los efectos especiales, la llamativa y enérgica actuación de Vidu se hace aún más evidente.

Olas gigantes, agujeros negros, grietas heladas, explosiones, gusanos de arena mecánicos… casi ninguno de los casos que hemos seleccionado esta vez es ordinario. Pero lo verdaderamente interesante de Q4 Preview no es que por fin haya aprendido a concentrar más chispas en los efectos visuales, sino que estos fenómenos están empezando a tener un impacto real en el mundo que nos rodea.

Usaremos un video FPV para mostrar un maremoto de un kilómetro de largo en el mar al atardecer. Desde una perspectiva en primera persona, el video muestra cómo la ola asciende a lo largo de la pared de agua, gira hacia la derecha y crea una cortina de agua, pasa por encima de la cresta y desciende por el otro lado de la parte posterior de la ola.

Es evidente que las franjas de agua se extienden a lo largo de la pared de la ola, y el reflejo en la superficie del mar también cambia con la inclinación del ángulo. Las capas de agua superaron mis expectativas para unos "efectos especiales planos".

Otro vídeo sobre la huida de una estación espacial, que incluye efectos especiales como explosiones y agujeros negros, es igualmente nítido y conciso.

También hay un vídeo de efectos especiales de un valle de hielo, desde la caída en el estrecho cañón de hielo hasta la entrada en el agua y, finalmente, el mar subterráneo abierto. Al final, una bestia gigante con forma de rayo azul fluorescente se transforma gradualmente de un contorno oscuro al protagonista en primer plano.

Los efectos especiales, responsables del impacto visual, también pueden utilizarse para comprobar la finalización de escenas complejas.

Con opciones de resolución 2K y 4K, podemos ver que la luz del fuego puede iluminar a los personajes y el humo puede obstruir la visión. Los efectos especiales interactúan bien con el entorno.

Nuestra experiencia con la Vidu Q4 se evidencia principalmente en sus funciones, que son quizás los aspectos más esperados. Estas funciones incluyen la capacidad de los personajes para expresarse en primeros planos, la posibilidad de realizar numerosas tomas dinámicas alrededor del objetivo y la capacidad de conectar sin problemas acciones posteriores con efectos especiales complejos.

Estas películas terminadas no se generan únicamente a partir de una sola palabra clave. Las imágenes de referencia desempeñan un papel crucial; funcionan como un conjunto de fotografías de trabajo antes de que comience el rodaje, especificando el aspecto de las personas, hacia dónde apunta la puerta y dónde se detendrá finalmente la cámara.

Vidu fue uno de los primeros modelos de vídeo en proponer la función de "estudiante de referencia", y en la versión preliminar del cuarto trimestre, esta función siguió evolucionando hacia un control más refinado.

La versión preliminar de Vidu Q4 admite oficialmente un máximo de 15 imágenes de referencia, pero según nuestra experiencia, lo más importante no es la cantidad, sino asegurarse de que cada imagen defina claramente su función.

Las imágenes de perfil de los personajes se utilizan para establecer sus identidades, las imágenes del entorno definen el espacio y las secuencias de acción proporcionan los objetivos de la escena. Definir claramente estos requisitos es crucial para determinar qué elementos se utilizaron en el montaje final y cuáles se omitieron.

La posibilidad de hacer referencia a varias imágenes no solo hace que nuestros requisitos creativos sean más específicos, sino que también proporciona una base para la aceptación del vídeo.

Tras superar la audición, comenzamos a hablar del salario.

Desde la pequeña pantalla que tenemos en nuestras manos hasta el gran televisor en la pared de casa, y luego a la pantalla gigante del cine, los vídeos generados por IA han dominado casi por completo nuestro campo de visión.

Nuestras expectativas respecto a los modelos de vídeo basados ​​en IA se asemejan cada vez más a las que tenemos para un actor real. Más allá de sus capacidades, también debemos considerar el salario, la popularidad, las habilidades interpretativas, etc., del "actor".

Estas experiencias con la modelo son similares a las audiciones mencionadas al principio. Lo más importante del proceso de audición es que es una interacción bidireccional: el actor audiciona y el equipo de producción también. Nosotros evaluamos si vale la pena firmar el contrato, y el equipo detrás del papel evalúa si vale la pena unirse al equipo de producción.

La versión preliminar de Vidu Q4 es, en esencia, una prueba bidireccional. Shengshu Technology entrega este "modelo insignia de gran expresividad" a los creadores con antelación para que comprueben su rendimiento en un flujo de trabajo real; mientras que los creadores también aprovechan estos días para evaluar si merece la pena incluir a este "actor" en su futuro equipo de producción.

Desde la pelea en el antiguo templo bajo la lluvia en "Black Myth" y "Shadow Blade Zero", hasta el gigante que extiende la mano para agarrar el antiguo barco en el mar, pasando por un personaje que pasa de la contención al colapso en una docena de segundos, estos casos parecen ser temas completamente diferentes, pero al final tienen una sensación similar.

Lo que cambia con el tipo de cambio de 0,09 yuanes por segundo es que este "impulso" ya no requiere una apuesta perfecta al primer intento. Podemos jugar con audacia, seguir intentándolo y generar múltiples versiones.

Más importante aún, desde las audiciones de bajo costo en la era del "centímetro" hasta la entrega en alta definición en la era del "esquina", los diferentes niveles de calidad de imagen han reducido aún más el umbral creativo. Los creadores pueden realizar primero audiciones repetidas a bajo costo y luego completar la película final con especificaciones más altas, invirtiendo dinero en tomas verdaderamente satisfactorias.

Al igual que en la producción cinematográfica, lo verdaderamente caro nunca son solo los pocos segundos que finalmente se utilizan, sino las docenas o incluso cientos de tomas que se descartaron previamente para encontrar esos pocos segundos.

Lo mismo ocurre con los vídeos generados por IA. Una vez que el coste de generación sea lo suficientemente bajo, los creadores podrán actuar como auténticos directores, probando diferentes expresiones, cambiando los ángulos de cámara y grabando varias tomas antes de seleccionar la mejor.

Actualmente, la versión preliminar de Vidu para el cuarto trimestre se encuentra en fase de prueba y sigue optimizándose continuamente. Sin embargo, cuando lo que originalmente era muy costoso y difícil de repetir se puede rehacer por tan solo unos céntimos, el vídeo con IA nos ha permitido probar una buena toma que originalmente era muy cara a un coste menor.

Hace más de cincuenta años, Marlon Brando se metió dos bolas de algodón en la boca y consiguió el papel de Corleone en apenas unas decenas de segundos de audición.

Hoy, las modelos de vídeo también compiten por su próximo papel. Las audiciones han terminado, pero el rodaje real acaba de empezar.