Tu me parles… en allemand?

Nouveau technologie deepfake permet à Robert De Niro de livrer sa célèbre ligne à partir de chauffeur de taxien allemand impeccable, avec des mouvements réalistes des lèvres et des expressions faciales. Le logiciel iA manipule les lèvres et les expressions faciales d’un acteur pour les faire correspondre de manière convaincante au discours de quelqu’un qui parle les mêmes lignes dans une langue différente. le intelligence artificielletechnologie basée pourrait remodeler l’industrie cinématographique, à la fois séduisante et troublante.

La technologie est liée à deepfaking, qui utilise l’IA pour coller le visage d’une personne sur quelqu’un d’autre. Il promet de permettre aux réalisateurs de remaner efficacement des films dans différentes langues, rendant les versions étrangères moins choquantes pour le public et plus fidèles à l’original. Mais le pouvoir de modifier automatiquement le visage d’un acteur si facilement pourrait également s’avérer controversé s’il n’est pas utilisé avec soin.

La technologie de doublage iA a été développée par impeccable, une société britannique cofondée par le directeur Scott Mann, qui dit qu’il en avait assez de voir de pauvres doublages étrangers dans ses films.

Après avoir regardé une version étrangère de son plus récent film, voler, qui met en vedette De Niro, Mann dit qu’il a été consterné par la façon dont le doublage ruiné scènes soigneusement conçu. (Il refuse de préciser la langue.) Le doublage implique parfois de changer le dialogue de manière significative, dit Mann, dans un effort pour le rendre plus étroitement correspondre aux mouvements des lèvres d’un acteur. « Je me souviens d’avoir été dévasté », dit-il. « Vous faites un petit changement dans un mot ou une performance, il peut avoir un grand changement sur un personnage dans le rythme de l’histoire, et à son tour sur le film. »

Mann a commencé à faire des recherches sur les travaux académiques liés aux deepfakes, ce qui l’a amené à un projet impliquant le doublage de l’IA dirigé par Christian Theobalt, professeur à l’Institut Max Planck d’informatique en Allemagne. L’œuvre est plus sophistiquée qu’un deepfake conventionnel. Il s’agit de capturer les expressions faciales et les mouvements d’un acteur dans une scène ainsi que quelqu’un qui parle les mêmes lignes dans une autre langue. Ces informations sont ensuite combinées pour créer un modèle 3D qui fusionne le visage et la tête de l’acteur avec les mouvements des lèvres du dubber. Enfin, le résultat est cousu numériquement sur l’acteur dans une scène.

Flawless s’est inspiré du projet de Theobalt pour son produit. Mann dit que la société est en pourparlers avec les studios sur la création de versions étrangères de plusieurs films. D’autres clips de démonstration de Flawless show Jack Nicholson et Tom Cruise offrant des lignes célèbres de Quelques bons hommes dans Français et Tom Hanks parlant espagnol et japonais dans des scènes de Forrest Gump.

« Il va bien tôt être invisible », dit Mann. « Les gens vont regarder quelque chose et ils ne se rendront pas compte qu’il a été tourné à l’origine dans Français ou autre chose. »

Mann dit Flawless est également à la recherche de la façon dont sa technologie pourrait aider les studios à éviter les reshoots coûteux en ayant un acteur semblent dire de nouvelles lignes. Mais il dit que certains acteurs sont un peu perturbés quand ils se voient manipulés à l’aide de l’IA. « Il y a une peur et un wow , ce sont les deux réactions que je reçois sans fin », dit-il.

Virginia Gardner, une actrice qui tient le premier rôle dans le dernier film de Mann et s’est vue parler espagnol grâce au logiciel Flawless, ne semble pas trop inquiète, bien qu’elle suppose que les films modifiés avec l’IA comprendraient un avertissement. « Je pense que c’est la meilleure façon d’être en mesure en tant qu’acteur de préserver votre performance » dans une autre langue, dit-elle. « Si vous faites confiance à votre réalisateur et que vous avez confiance que ce processus ne fera qu’améliorer un film, alors je ne vois vraiment pas d’inconvénient à cela. »

La manipulation vidéo de l’IA est controversée et pour cause. Les programmes gratuits deepfake qui peuvent échanger le visage d’une personne sur quelqu’un d’autre dans une scène vidéo ont proliféré avec les progrès de l’IA. Le logiciel identifie les points clés sur le visage d’une personne et utilise l’apprentissage automatique pour capturer comment le visage de cette personne se déplace.

La technologie a été utilisée pour créer du porno de célébrités faux et endommager les clips revenge-porn ciblant les femmes. Les experts craignent que les deepfakes montrant une personne célèbre dans une situation compromettante pourraient répandre la désinformation et influencer une élection.

La manipulation du visage sur le marché pourrait s’avérer controversée dans l’industrie cinématographique. Darryl Marks, fondateur de Adapter Entertainment, une société de Tel Aviv qui travaille sur un autre outil de doublage iA, dit qu’il n’est pas sûr de la façon dont certains acteurs pourraient réagir à voir leur performance modifiée, surtout s’il n’est pas clair que cela a été fait par un ordinateur. « S’il y a un acteur très célèbre, ils pourraient le bloquer, dit-il.

« Il existe des utilisations légitimes et éthiques de cette technologie », explique Duncan Crabtree-Ireland, avocat général de la Screen Actors Guild. « Mais toute utilisation d’une telle technologie ne doit se faire qu’avec le consentement des artistes interprètes ou exécutants concernés, et avec une compensation appropriée et appropriée. »

Hao Li, un artiste d’effets visuels qui se spécialise dans l’utilisation de l’IA pour la manipulation faciale, dit réalisateurs et producteurs montrent un intérêt croissant pour deepfakes et la technologie iA connexes. Créer un deepfake nécessite normalement des heures de traitement algorithmique, mais Li travaille sur un film où un logiciel deepfake plus avancé permet à un réalisateur de voir un acteur transformé en temps réel.

Li dit que la situation se sent similaire à quand l’utilisation de l’infographie photo-réaliste est devenu largement disponible dans les années 2000. Maintenant, grâce à l’IA, « tout à coup tout le monde veut faire quelque chose, dit-il.

Cette histoire est apparue à l’origine sur wired.com.