Des chercheurs de Disney ont créé un nouveau réseau neuronal qui peut modifier l’âge visuel des acteurs de télévision ou de cinéma. Rapports Gizmodo. La technologie permettra aux producteurs de télévision ou de cinéma de faire paraître les acteurs plus âgés ou plus jeunes en utilisant un processus automatisé qui sera moins coûteux et prendra moins de temps que les méthodes précédentes.
Traditionnellement, lorsque le personnel des effets spéciaux sur une production vidéo ou cinématographique doit faire un acteur paraître plus vieux ou plus jeune (une technique que Disney appelle « re-vieillissement »), ils utilisent généralement soit un processus de numérisation 3D et de modélisation 3D, soit une retouche numérique 2D image par image du visage de l’acteur à l’aide d’outils similaires à Photoshop. Ce processus peut prendre des semaines ou plus, selon la durée du travail.
En revanche, la nouvelle technique d’IA de Disney, appelée Face Re-aging Network (FRAN), automatise le processus. Disney l’appelle « la première méthode pratique, entièrement automatique et prête pour la production pour re-vieillir les visages dans les images vidéo ».
Une vidéo de démonstration de recherche pour la technologie de revieillissement de Disney.
Pour construire FRAN, les chercheurs de Disney ont généré au hasard des milliers d’exemples de visages synthétiquement âgés de 18 à 85 ans en utilisant StyleGAN2. Avec ces données de formation en main, FRAN a appris des principes généraux sur la façon dont l’apparence d’une personne change avec l’âge. Maintenant que la formation est terminée, elle peut appliquer ces principes de vieillissement à un acteur réel en mouvement, image par image.
« Notre réseau est formé de manière supervisée sur un grand nombre de paires d’images de visage montrant la même personne synthétique et photoréaliste, étiquetée avec les âges source et cible correspondants », ont écrit les chercheurs dans un Article académique. En générant les données de formation de manière synthétique, ils ont contourné la « tâche apparemment impossible » de collecter des images représentant « une variété d’identités, d’âges et d’ethnies dans différents points de vue ».
Le résultat est ce que Disney appelle une solution « prête pour la production », ce qui signifie qu’elle crée une sortie de qualité suffisante pour être utilisée dans un vrai film ou une émission de télévision. C’est peut-être la première solution d’IA de ce type qui peut modifier dynamiquement l’âge d’un acteur sur vidéo malgré des expressions, des conditions d’éclairage et des points de vue variables. Les chercheurs ont également développé une interface conviviale pour FRAN qui permettra aux artistes d’utiliser facilement l’outil dans un environnement de production.
Disney a présenté la recherche dans un papier intitulé « Production-Ready Face Re-Aging for Visual Effects » mercredi et l’a soumis pour inclusion au ACM SIGGRAPH Asie 2022 en décembre. Les auteurs de l’article incluent Gaspard Zoss, Prashanth Chandran, Eftychios Sifakis, Markus Gross, Paulo Gotardo et Derek Bradley, tous affiliés aux studios de recherche Disney à Zurich, en Suisse.
Compte tenu de l’histoire de Disney avec Insertion acteurs générés par ordinateur dans des films et des émissions de télévision Star Wars, y compris certains qui ont été vieilli à l’aide de CGI, nous voudrions Ne soyez pas surpris voir une technologie similaire à FRAN largement utilisée dans les futures productions Disney, bien qu’aucun plan n’ait été annoncé.
