Un avance notable en el video de IA impulsado por los humanos

Nota: La página del tesina para este trabajo incluye 33 videos de suscripción capacidad de suscripción resistor por un total de la centro de un gigabyte, que desestabilizó mi sistema en la carga. Por esta razón, no lo vincularé directamente. Los lectores pueden encontrar la URL en el sinopsis del artículo o PDF si lo desean.

Uno de los objetivos principales en la investigación presente de síntesis de video es originar un rendimiento de video completo impulsado por la IA a partir de una sola imagen. Esta semana, un nuevo artículo de la creación inteligente de Bytedance describió lo que puede ser el sistema más integral de este tipo hasta ahora, capaz de producir animaciones completas y semibodas que combinan detalles faciales expresivos con un movimiento preciso a gran escalera, al tiempo que logran una consistencia de identidad mejorada, un ámbito donde incluso los sistemas comerciales líderes a menudo se quedan cortos.

En el ejemplo a continuación, vemos una diligencia impulsada por un actor (hacia lo alto a la izquierda) y derivado de una sola imagen (hacia lo alto a la derecha), que proporciona una representación notablemente flexible y hábil, sin ningún de los problemas habituales en torno a crear grandes movimientos o ‘adivinar’ sobre áreas oclusidas (es aseverar, partes de ropa y ángulos faciales que deben ser inferidos o inventados porque no son visibles en la foto de origen sole):: foto de origen sole):: Foto de origen):: Foto de origen: Foto de origen)::

Contenido de audio. Haga clic para envidiar. Una diligencia nace de dos fuentes, incluida la sincronización de labios, que normalmente es la reserva de sistemas auxiliares dedicados. Esta es una lectura escasa del sitio fuente (ver nota al principio del artículo: se aplica a todos los demás videos integrados aquí).

Aunque podemos ver algunos desafíos residuales con respecto a la persistencia de la identidad a medida que cada clip procede, este es el primer sistema que he gastado que sobresale en universal (aunque no siempre) manteniendo ID durante un período sostenido sin el uso de LORAS:

Contenido de audio. Haga clic para envidiar. Otros ejemplos del tesina DreamActor.

El nuevo sistema, titulado Dreamactorutiliza un sistema de control híbrido de tres partes que brinda atención dedicada a la expresión facial, la rotación de la comienzo y el diseño del huesos central, acomodando así las actuaciones impulsadas por la IA donde ni el aspecto facial ni el cuerpo sufren a costas del otro, una capacidad rara y posiblemente desconocida entre sistemas similares.

A continuación vemos una de estas facetas, rotación de la comienzoen energía. La patraña de color en la cantón de cada miniatura cerca de la derecha indica un tipo de cardán imaginario que define la orientación de la comienzo independientemente del movimiento y la expresión facial, que aquí es impulsado por un actor (debajo a la izquierda).

Haga clic para envidiar. La patraña multicolor visualizada aquí representa el eje de rotación de la comienzo del vicisitud, mientras que la expresión funciona con un módulo separado e informada por la diligencia de un actor (gastado aquí debajo a la izquierda).

Una de las funcionalidades más interesantes del tesina, que ni siquiera se incluye correctamente en las pruebas del documento, es su capacidad para derivar el movimiento de sincronización de labios directamente del audio, una capacidad que funciona inusualmente perfectamente incluso sin un videamento actor impulsor.

Los investigadores han adquirido a los mejores titulares en esta búsqueda, incluido el tan alaborado acto de pista y viva portait, y informan que DreamActor pudo ganar mejores resultados cuantitativos.

Legado que los investigadores pueden establecer sus propios criterios, los resultados cuantitativos no son necesariamente un típico empírico; Pero las pruebas cualitativas que lo acompañan parecen respaldar las conclusiones de los autores.

Desafortunadamente, este sistema no está destinado a la fuga pública, y el único valía que la comunidad puede derivar del trabajo es reproducir potencialmente las metodologías descritas en el documento (como se hizo con un sorpresa importante para el Google Dreambooth igualmente cerrado en 2022).

El documento indica*:

‘La animación de la imagen humana tiene posibles riesgos sociales, como ser mal usado para hacer videos falsos. La tecnología propuesta podría estar de moda para crear videos falsos de personas, pero las herramientas de detección existentes (demamba, disfrazado) pueden detectar estas falsificaciones.

‘Para ceñir estos riesgos, son necesarias reglas éticas claras y pautas de uso responsables. Restringiremos estrictamente el paso a nuestros modelos y códigos centrales para evitar el mal uso.

Lógicamente, las consideraciones éticas de este tipo son convenientes desde un punto de audiencia comercial, ya que proporciona una coartada para el paso de API solo al maniquí, que luego se puede monetizar. Bytedance ya ha hecho esto una vez en 2025, haciendo que el omnihumano tan minucioso esté acondicionado para los créditos pagados en el sitio web de Dreamina. Por lo tanto, transmitido que DreamActor es posiblemente un producto aún más resistente, este parece el resultado probable. Lo que queda por ver es la medida en que sus principios, hasta donde se explican en el documento, pueden ayudar a la comunidad de código libre.

El nuevo artículo se titula Dreamactor-M1: animación de imagen humana holística, expresiva y robusta con maestro híbriday proviene de seis investigadores de Bytedance.

Método

El sistema DreamActor propuesto en el documento tiene como objetivo originar animación humana a partir de una imagen de narración y un video de conducción, utilizando un ámbito de transformador de difusión (DIT) adaptado para el espacio disfrazado (aparentemente algún sabor de difusión estable, aunque el documento cita solo la publicación de propagación de homogéneo 2022).

En circunstancia de esperar en módulos externos para manejar el acondicionamiento de narración, los autores fusionan las características de apariencia y movimiento directamente adentro de la columna vertebral DIT, lo que permite la interacción a través del espacio y el tiempo a través de la atención:

Para hacer esto, el maniquí utiliza un autointerreno de variacional 3D preventivo para codificar tanto el video de entrada como la imagen de narración. Estos latentes están parcheados, concatenados y alimentados en el DIT, que los procesa conjuntamente.

Esta edificación se aparta de la actos global de adjuntar una red secundaria para la inyección de narración, que fue el enfoque para la influyente animar a cualquier persona y animar a cualquiera 2 proyectos.

En cambio, DreamActor incorpora la fusión en el maniquí principal en sí, simplificando el diseño al tiempo que progreso el flujo de información entre las señales de apariencia y movimiento. Luego, el maniquí se entrena utilizando la coincidencia de flujo en circunstancia del objetivo de difusión típico (los modelos de difusión de los trenes de coincidencia de flujo predicen directamente los campos de velocidad entre los datos y el ruido, omitiendo la estimación de la puntuación).

Preceptor de movimiento híbrido

El método de maestro de movimiento híbrido que informa las representaciones neuronales combina tokens de pose derivados de esqueletos del cuerpo 3D y esferas de la comienzo; Representaciones faciales implícitas extraídas por un codificador facial previamente altavado; y tokens de apariencia de narración muestreados de la imagen de origen.

Estos nociones se integran adentro del transformador de difusión utilizando distintos mecanismos de atención, lo que permite que el sistema coordine el movimiento universal, la expresión facial y la identidad visual a lo dispendioso del proceso de vivientes.

Para el primero de estos, en circunstancia de esperar en los puntos de narración faciales, DreamActor utiliza representaciones faciales implícitas para llevar la vivientes de expresiones, aparentemente permitiendo un control más fino sobre la dinámica facial mientras se desaniman la identidad y la comienzo pose de la expresión.

Para crear estas representaciones, la tubería primero detecta y cultiva la región de la cara en cada cuadro del video de conducción, cambiándolo a 224 × 224. Las caras recortadas se procesan mediante un codificador de movimiento facial previamente en el conjunto de datos PD-FGC, que luego está condicionado por una capa MLP.

El resultado es una secuencia de tokens de movimiento de la cara, que se inyectan en el transformador de difusión a través de una capa de atención cruzada.

El mismo ámbito asimismo admite un impulsado por audio Variación, en la que se capacita a un codificador separado que mapea la entrada del palabra directamente para indisponer los tokens de movimiento. Esto permite originar animación facial sincronizada, incluidos los movimientos de los labios, sin un video de conducción.

Contenido de audio. Haga clic para envidiar. La sincronización de labios se deriva puramente del audio, sin una narración de actor de conducción. La única entrada del personaje es la foto estática que se ve superior a la derecha.

En segundo circunstancia, para controlar la comienzo de la comienzo independientemente de la expresión facial, el sistema presenta una representación de esfera de la comienzo 3D (ver video integrado anteriormente en este artículo), que desacopla la dinámica facial del movimiento universal de la comienzo, mejorando la precisión y la flexibilidad durante la animación.

Las esferas de la comienzo se generan extrayendo parámetros faciales en 3D, como la rotación y la pose de la cámara, del video de conducción utilizando el método de seguimiento de Faceverse.

Estos parámetros se utilizan para representar una esfera de color proyectada en el plano de imagen 2D, vinculado espacialmente con el cabezal de conducción. El tamaño de la esfera coincide con el cabezal de narración, y su color refleja la orientación de la comienzo. Esta meditación reduce la complejidad de ilustrarse el movimiento de la comienzo en 3D, ayudando a preservar formas de comienzo estilizadas o exageradas en personajes extraídos de la animación.

Finalmente, para llevar el movimiento de cuerpo completo, el sistema utiliza esqueletos del cuerpo 3D con normalización adaptativa de distancia ósea. Los parámetros del cuerpo y la mano se estiman utilizando 4dhuman y el Hamer centrado en la mano, los cuales funcionan en el maniquí de cuerpo SMPL-X.

A partir de estas panorama, las juntas esencia se seleccionan, se proyectan en 2D y se conectan en mapas de huesos basados ​​en serie. A diferencia de los métodos como Champ, que representan mallas de cuerpo completo, este enfoque evita imponer historial predefinidos, y al esperar sólo en la estructura esquelética, se alienta al maniquí a inferir la forma y la apariencia del cuerpo directamente de las imágenes de narración, ceñir el sesgo cerca de los tipos de cuerpo fijos y mejorar la extensión en un rango de poses y construcciones.

Durante el entrenamiento, los esqueletos del cuerpo 3D se concatenan con las esferas de la comienzo y se pasan a través de un codificador de pose, que genera características que luego se combinan con latentes de video noise para producir los tokens de ruido utilizados por el transformador de difusión.

En el momento de la inferencia, el sistema explica las diferencias esqueléticas entre los sujetos al ordenar las longitudes óseas. El maniquí de estampación de imágenes previamente previa a la imagen de SeedEdit transforma las imágenes de narración y conducción en una configuración canónica típico. El RTMpose se usa para extraer proporciones esqueléticas, que se utilizan para ajustar el huesos de conducción para que coincida con la cuerpo del sujeto de narración.

Preceptor de apariencia

Para mejorar la fidelidad de la apariencia, particularmente en áreas ocluidas o raramente visibles, el sistema complementa la imagen de narración principal con pseudo-referencias muestreadas desde el video de entrada.

Haga clic para envidiar. El sistema anticipa la pobreza de hacer regiones ocluidas de modo precisa y consistente. Esto es tan cercano como he gastado, en un tesina de este tipo, a un enfoque de textura de carta de carta de bits de estilo CGI.

Estos marcos adicionales se eligen para la diversificación de pose utilizando RTMpose, y se filtran utilizando similitud basada en clip para asegurar que sigan siendo consistentes con la identidad del sujeto.

Todos los marcos de narración (primarios y pseudo) están codificados por el mismo codificador visual y se fusionan a través de un mecanismo de autoatención, lo que permite que el maniquí acceda a señales de apariencia complementaria. Esta configuración progreso la cobertura de detalles como vistas de perfil o texturas de las extremidades. Las pseudo-referencias siempre se usan durante el entrenamiento y opcionalmente durante la inferencia.

Capacitación

Dreamactor fue entrenado en tres etapas para introducir gradualmente la complejidad y mejorar la estabilidad.

En la primera etapa, solo se usaron esqueletos de cuerpo 3D y esferas de comienzo 3D como señales de control, excluyendo representaciones faciales. Esto permitió que el maniquí de vivientes de video pulvínulo, inicializado de MMDIT, se adaptara a la animación humana sin ser abrumado por controles de espinilla fino.

En la segunda etapa, se agregaron representaciones faciales implícitas, pero todos los demás parámetros se congelaron. Solo el codificador de movimiento de la cara y las capas de atención de la cara fueron entrenadas en este punto, lo que permite que el maniquí aprenda detalles expresivos de forma aislada.

En la etapa final, todos los parámetros no estaban congelados para la optimización de las articulaciones a través de la apariencia, pose y la dinámica facial.

Datos y pruebas

Para la grado de prueba, el maniquí se inicializa desde un punto de control DIT de imagen a video previamente^† y entrenado en tres etapas: 20,000 pasos para cada una de las dos primeras etapas y 30,000 pasos para el tercero.

Para mejorar la extensión en diferentes duraciones y resoluciones, los videoclips se muestrearon aleatoriamente con longitudes entre 25 y 121 cuadros. Luego se redimensionaron a 960x640px, al tiempo que preservaron la relación de aspecto.

El entrenamiento se realizó en ocho GPU H20 (centradas en China), cada una con 96 GB de VRAM, utilizando el Optimizer AdamW con una tasa de formación (tolerablemente suscripción) de 5E-6.

En inferencia, cada segmento de video contenía 73 cuadros. Para amparar la consistencia entre los segmentos, el disfrazado final de un segmento se reutilizó como el disfrazado auténtico para el posterior, que contextualiza la tarea como la vivientes secuencial de imagen a video.

La maestro sin clasificador se aplicó con un peso de 2.5 para imágenes de narración y señales de control de movimiento.

Los autores construyeron un conjunto de datos de capacitación (no se establecen fuentes en el documento) que comprende 500 horas de video procedentes de diversos dominios, con casos de (entre otros) danza, deportes, cine y cuchichear en manifiesto. El conjunto de datos fue diseñado para capturar un amplio espectro de movimiento y expresión humana, con una distribución uniforme entre las tomas de cuerpo completo y medio cuerpo.

Para mejorar la calidad de la síntesis facial, Nersemble se incorporó en el proceso de preparación de datos.

Para la evaluación, los investigadores utilizaron su conjunto de datos asimismo como punto de narración para evaluar la extensión en varios escenarios.

El rendimiento del maniquí se midió utilizando métricas típico del trabajo previo: Distancia de inicio de Fréchet (FID); Índice de similitud estructural (SSIM); Similitud de parche de imagen perceptual aprendida (LPIP); y relación señal / ruido máxima (PSNR) para la calidad a nivel de ámbito. La distancia de video de Fréchet (FVD) se utilizó para evaluar la coherencia temporal y la fidelidad universal del video.

Los autores realizaron experimentos en tareas de animación del cuerpo y animación de retratos, todos empleando una sola imagen de narración (objetivo).

Para la animación del cuerpo, DreamActor-M1 se comparó contra Animate a cualquiera; Morder; Mimicmotion y deshacerse.

Aunque el PDF proporciona una imagen estática como comparación visual, uno de los videos del sitio del tesina puede resaltar las diferencias más claramente:

Contenido de audio. Haga clic para envidiar. Una comparación visual entre los marcos Challenger. El video de conducción se ve de hacia lo alto a la izquierda, y la conclusión de los autores de que DreamActor produce los mejores resultados parece moderado.

Para las pruebas de animación de retratos, el maniquí fue evaluado contra LivePorTrait; Portraito X; Skyreels-A1; y acto-one.

Los autores señalan que su método deseo en pruebas cuantitativas y sostienen que asimismo es superior cualitativamente.

Contenido de audio. Haga clic para envidiar. Ejemplos de comparaciones de animación de retratos.

Podría decirse que el tercero y el final de los clips mostrados en el video previo exhibe una sincronización de labios menos convincente en comparación con un par de marcos rivales, aunque la calidad universal es notablemente suscripción.

Conclusión

Al anticipar la pobreza de texturas que estén implícitas pero que no están presentes en la única imagen objetivo que alimenta estas recreaciones, el bytedance ha abordado uno de los mayores desafíos que enfrenta la vivientes de videos basada en la difusión: texturas persistentes consistentes. El posterior paso razonable luego de perfeccionar este enfoque sería crear de alguna modo un Atlas de narración del clip auténtico generado que podría aplicarse a las generaciones posteriores y posteriores, para amparar la apariencia sin LORAS.

Aunque este enfoque de este tipo aún sería una narración externa, esto no es diferente del mapeo de texturas en las técnicas de CGI tradicionales, y la calidad del realismo y la plausibilidad es mucho más suscripción de lo que pueden obtener esos métodos más antiguos.

Dicho esto, el aspecto más impresionante de DreamActor es el sistema combinado de orientación de tres partes, que une la división tradicional entre la síntesis humana centrada en la cara y centrada en el cuerpo de una modo ingeniosa.

Solo queda por ver si algunos de estos principios centrales pueden aprovecharse en ofertas más accesibles; Tal como está, DreamActor parece destinado a convertirse en otra ofrecimiento de síntesis como servicio, unida severamente vinculada por restricciones sobre el uso y por la impracticabilidad de estudiar ampliamente con una edificación comercial.

* Mi sustitución de hipervínculos para los autores; citas en serie

^† Como se mencionó anteriormente, no está claro con el sabor de la difusión estable en este tesina.

Publicado por primera vez el viernes 4 de abril de 2025