Epic Games a lancé son Animateur MetaHuman, un outil qui permet aux développeurs de capturer des visages humains de haute qualité en utilisant simplement un iPhone et un PC. Et comme vous pouvez le voir dans la vidéo du gars ici, c’est assez incroyable pour faire des gens simulés.

La société a déclaré que l’outil peut fournir une animation faciale de haute qualité en quelques minutes. Présentée pour la première fois au GDC 2023, la dernière version du pipeline humain numérique rapide et facile apporte une capture de performance haute fidélité à MetaHumans.

MetaHuman Animator possède des fonctionnalités qui vous permettent de capturer la performance d’un acteur à l’aide d’un iPhone ou d’un système de caméra stéréo monté sur la tête (HMC) et de l’appliquer sous forme d’animation faciale haute fidélité sur n’importe quel personnage MetaHuman, sans intervention manuelle.

Chaque expression subtile, chaque regard et chaque émotion est capturée avec précision et fidèlement reproduite sur votre humain numérique, a déclaré Epic Games. Mieux encore, il est simple et direct d’obtenir des résultats incroyables – tout le monde peut le faire.

Si vous débutez dans la capture de performances, MetaHuman Animator est un moyen pratique d’apporter une animation faciale à MetaHumans basée sur des performances réelles.

Et si vous faites déjà de la capture de performances, ce nouvel ensemble de fonctionnalités améliorera considérablement votre flux de travail de capture existant, réduira le temps et les efforts et vous donnera plus de contrôle créatif. Il vous suffit de coupler MetaHuman Animator avec votre caméra frontale stéréo verticale existante pour obtenir une fidélité visuelle encore plus grande.

Plus de détails

Auparavant, il aurait fallu des mois à une équipe d’experts pour recréer fidèlement chaque nuance de la performance de l’acteur sur un personnage numérique. Maintenant, MetaHuman Animator fait le gros du travail pour vous en une fraction du temps et avec beaucoup moins d’efforts.

Le nouvel ensemble de fonctionnalités utilise un solveur 4D pour combiner les données vidéo et de profondeur avec une représentation MetaHuman de l’interprète. L’animation est produite localement à l’aide de matériel GPU, l’animation finale étant disponible en quelques minutes.

Tout se passe sous le capot. Les développeurs peuvent pointer la caméra vers l’acteur et appuyer sur Enregistrer. Une fois capturé, MetaHuman Animator reproduit avec précision l’individualité et la nuance de la performance de l’acteur sur n’importe quel personnage MetaHuman.

De plus, les données d’animation sont sémantiquement correctes, utilisent les commandes de configuration appropriées et sont cohérentes dans le temps, avec des transitions de commande fluides, ce qui facilite les ajustements artistiques si vous souhaitez modifier l’animation.

Vidéo point bleu

Blue Dot, un court métrage créé par l’équipe 3Lateral d’Epic Games en collaboration avec des artistes serbes locaux, a montré ce qui peut être fait. L’acteur Radivoje Bukvić livre un monologue basé sur un poème de Mika Antic. La performance a été filmée sur la scène mocap du studio Take One avec le directeur de la photographie Ivan Šijak agissant en tant que directeur de la photographie. Et le résultat est que l’humain dans la vidéo est une animation.

Ces résultats nuancés démontrent le niveau de fidélité auquel les artistes et les cinéastes peuvent s’attendre lorsqu’ils utilisent MetaHuman Animator avec un système de caméra stéréo monté sur la tête et des techniques de réalisation de films traditionnelles.

L’équipe a pu atteindre ce niveau impressionnant de qualité d’animation avec un minimum d’interventions en plus des résultats de MetaHuman Animator.

Animation faciale pour tout MetaHuman

Epic Games a déclaré que la capture des développeurs d’animation faciale à l’aide de MetaHuman Animator peut être appliquée à n’importe quel personnage MetaHuman ou à tout personnage adoptant la nouvelle norme de description faciale MetaHuman en quelques clics.

Cela signifie que les développeurs peuvent concevoir un personnage comme ils le souhaitent, en sachant que l’animation faciale qui lui est appliquée fonctionnera.

Pour devenir technique pendant une minute, c’est réalisable car Mesh to MetaHuman peut désormais créer une identité MetaHuman à partir de seulement trois images vidéo, ainsi que des données de profondeur capturées à l’aide d’un iPhone ou reconstruites à l’aide des données d’une caméra stéréo verticale montée sur la tête.

Cela personnalise le solveur à l’acteur, permettant à MetaHuman Animator de produire une animation qui fonctionne sur n’importe quel personnage MetaHuman. Il peut même utiliser l’audio pour produire une animation de langue convaincante.

Utiliser un iPhone pour la capture

Epic Games veut prendre la capture des performances faciales de quelque chose que seuls les experts avec des systèmes de capture haut de gamme peuvent réaliser, et la transformer en quelque chose pour tous les créateurs.

Dans sa forme la plus simple, MetaHuman Animator peut être utilisé uniquement avec un iPhone (12 ou plus) et un PC de bureau. C’est possible car nous avons mis à jour l’application iOS Live Link Face pour capturer des données vidéo et de profondeur brutes, qui sont ensuite ingérées directement de l’appareil dans Unreal Engine pour traitement.

Les développeurs peuvent également utiliser MetaHuman Animator avec un système de caméra frontal stéréo vertical existant pour obtenir une fidélité encore plus grande.

Que les développeurs utilisent un iPhone ou une console HMC stéréo, MetaHuman Animator améliorera la vitesse et la facilité d’utilisation du workflow de capture. Cela donne aux développeurs la possibilité de choisir le matériel le mieux adapté aux exigences d’un tournage et au niveau de fidélité visuelle que les développeurs cherchent à atteindre.

Les données d’animation capturées prennent en charge le code temporel, de sorte que l’animation des performances faciales peut facilement être alignée avec la capture des mouvements corporels et l’audio pour offrir une performance complète des personnages.

Parfait pour faire des choix créatifs sur le plateau

MetaHuman Animator est parfaitement adapté à l’itération créative sur le plateau car il vous permet de traiter et de transférer rapidement l’animation faciale sur n’importe quel personnage MetaHuman.

Avec les données d’animation examinées directement dans Unreal Engine pendant que le développeur est encore sur le tournage, la qualité de la capture peut être évaluée bien avant l’animation du personnage final.

Et parce que les reprises peuvent avoir lieu pendant que l’acteur est encore sur scène, les développeurs peuvent obtenir la meilleure prise de vue sur-le-champ, au lieu d’avoir à absorber le coût et le temps nécessaires pour ramener tout le monde à une date ultérieure.