Unity a annoncé le lancement de sa division Unity Wētā Tools pour la réalisation de films et d’animations et de jeux 3D en temps réel lors de la conférence Siggraph 2023.

Cette division vise à fournir aux artistes des solutions accessibles et fiables pour la création collaborative de contenus 2D et 3D. Au Siggraph, Unity Wētā Tools présentera les dernières avancées qui permettent aux créateurs de créer des mondes numériques captivants, de donner vie à des personnages hyperréalistes et d’élever les techniques de production cinématographique.

Au Siggraph 2023, Unity Wētā Tools fera une présentation réaffirmant l’engagement d’Unity à repousser les limites de la production numérique et à favoriser l’innovation et la créativité.

Unity a acheté la division d’outils Wētā de Peter Jackson en 2021 pour 1,6 milliard de dollars, et maintenant la société est prête à présenter ces outils comme le haut de gamme de sa gamme de produits, a déclaré Timoni West, vice-président des produits pour Unity Wētā Tools, dans une interview. avec GamesBeat. Nous voyons maintenant le résultat de cet accord pour la gamme complète de produits Unity. Les produits à venir de cette acquisition seront présentés à Siggraph.

« Nous avons vraiment fait le travail au cours de la dernière année et demie, essayant de déterminer ce que nous pouvions tirer de mieux de cette acquisition. Les outils sont très réussis. Ils sont utilisés sur des centaines de films et de films différents aujourd’hui », a déclaré West. «Mais déterminer ce que nous pouvons extraire et commencer à vraiment produire – à partir de quelque chose déjà utilisé par de nombreux professionnels – pour notre prochain service, c’est ce que c’est. L’idée est de prendre cette technologie et de comprendre comment elle peut être utilisée pour d’autres studios, pour des jeux, pour tout type de contenu interactif, c’est le pain et le beurre d’Unity. La thèse ici est de prendre ce qui est utilisé pour l’art haut de gamme et de trouver comment le rendre accessible à tous.

Les présentateurs incluent Allan Poore et Natalya Tatarchuk de Unity, Steve May de Pixar et Joe Letteri de WētāFX. Ils montreront comment les outils Unity Wētā sont actuellement utilisés dans les films primés. Et ils montreront comment ces outils accélèrent les flux de travail créatifs, facilitent la mise en œuvre transparente des modifications créatives et améliorent la qualité des prises de vue finales.

Poore, vice-président senior de Unity Wētā Tools, a exprimé le dévouement de Unity à la recherche et au développement.

« Nous sommes ravis de présenter le travail que nous réalisons avec des outils d’artistes 3D haut de gamme, et nous cherchons à apporter de nouvelles innovations pour aider les créateurs à réussir, libérant la créativité des artistes 3D », a déclaré Poore, dans un communiqué.

Certains des outils seront utilisés pour créer à la fois des jeux et des films, a déclaré West. Et ils pourraient aussi brouiller les lignes.

« Comme avec Black Mirror de Netflix : Bandersnatch [interactive film], je pense qu’il y a là une réelle opportunité pour les cinéastes d’expérimenter », a déclaré West. « Unity s’intéresse profondément à l’IA depuis la création de notre première équipe d’IA en 2018. Nous appliquons l’apprentissage automatique pour aider tout le monde à vivre de meilleures expériences plus rapidement.

West a noté à quel point les créateurs de jeux se soucient profondément du « temps de pixelisation », ou de la vitesse à laquelle vous pouvez rendre une image, tandis que les cinéastes peuvent dépenser des tonnes d’argent et des millions de dollars dans des fermes de rendu juste pour s’assurer que les pixels sont parfaits. Les développeurs de jeux se soucient des performances en temps réel, tandis que les cinéastes se soucient de leur donner un aspect réel. Pourtant, les outils convergent.

Le contenu moderne est complexe à créer. Les mondes CG doivent être construits pour correspondre à la direction artistique, qu’elle soit réaliste ou entièrement stylisée. Les méthodes de production en direct tirent de plus en plus parti de la CG lors de la capture en direct, élargissant la portée des départements artistiques sur le plateau. Ensuite, les deux éléments doivent être combinés pour être considérés comme une seule image, souvent dans le cadre d’un processus linéaire ou en cascade.

Unity Wētā Tools présentera ses derniers outils de personnage, permettant aux créateurs de faire correspondre les briefs créatifs dans n’importe quel langage de conception pour le cinéma, l’animation et les jeux. Deux exemples étonnants, l’humain numérique en temps réel, Samir, et la créature stylisée, Nova, présenteront une biomécanique exceptionnelle dans le cadre de leurs performances.

Des outils collaboratifs comme SyncSketch seront également mis en avant, facilitant une collaboration plus fluide et fournissant un retour en temps réel et asynchrone pour une itération plus rapide. De plus, l’introduction de Deep Compositing et Eddy de Unity Wētā Tools vise à redéfinir les workflows de post-production, permettant aux créateurs d’atteindre une profondeur et des détails sans précédent dans leurs productions.

L’outil de gain de temps de Unity vise à accélérer la création de contenu tout en réduisant les tâches répétitives, comme la fabrication de perruques en temps réel pour les humains numériques. Et Unity Wētā Tools pour les artistes de l’environnement comprend SpeedTree, qui peut être combiné avec des moteurs en temps réel, tels que Unity Engine, pour créer une végétation riche dans des scènes en temps réel pendant la production de films et de jeux.

« Les progrès technologiques ont été assez importants au cours de la dernière décennie, pour autant que vous en ayez vu, comme les cheveux dans le film Tangled de Disney », a déclaré West. «Nous avons notre propre technologie de Wētā Digital appelée Wig. Nous allons le publier en tant que produit, un plugin autonome.

Un autre outil à venir est Deep Comp, ou abréviation de composition profonde. Le compositing est le processus qui consiste à combiner tous les éléments d’un plan (en direct et générés par ordinateur) en une image finale. La composition profonde transforme le processus de composition 2D typique en un processus 3D. Au lieu de simplement RVB, il existe un canal de profondeur stockant des informations spatiales pour chaque pixel.

Les cartes de profondeur sont utilisées pour tirer parti de ces données, en appliquant les distances relatives entre les objets (action en direct et CG) dans une scène. Les objets sont donc composés plus précisément dans l’espace 3D, ce qui conduit à une création de meilleure qualité grâce à un certain nombre d’avantages de flux de travail. Le résultat peut être des scènes où les développeurs peuvent par magie vieillir un acteur, a déclaré West.

Les nœuds Deep Compositing de Wētā Tools offrent aux compositeurs un meilleur contrôle créatif des objets CG, ce qui se traduit par des prises de vue plus précises avec des effets convaincants qui peuvent être modifiés sans restituer la scène entière, ce qui réduit les coûts. Les scènes sont compilées plus rapidement que les méthodes traditionnelles car les plans peuvent être assemblés au fur et à mesure que les objets sont créés. Les compositeurs peuvent se concentrer sur les décisions créatives et isoler les objets pour les éditer ou ajouter des effets visuels à l’aide de workflows non destructifs, tout en appliquant des effets complexes qui n’étaient pas possibles auparavant.

Il y a des milliers de compositeurs qui travaillent dans les effets de film dans les jeux pour rendre l’image finale réelle aussi belle qu’elle l’est. Il s’agit simplement de tout rassembler.

« La composition profonde vous permet d’ajouter une troisième dimension à la composition. Cela vous permet de créer des volumes que vous pouvez ensuite utiliser comme découpes si vous créez une scène », a déclaré West. « Ainsi, par exemple, si vous avez une vraie voiture dans une scène, vous devez avoir une explosion autour d’elle, vous pouvez définir la dimensionnalité de la voiture, bien que vous n’ayez pas à faire le travail minutieux ou image par image entrant et essayer de fixer chaque image pendant que la caméra se déplace dans le parc.

Et Eddy est un outil de simulation fluide qui permet aux compositeurs d’appliquer des effets volumétriques sans dépendances
sur d’autres artistes dans le pipeline de production. Cela donne aux compositeurs un contrôle plus créatif d’un plan avec un retour visuel instantané, facilitant les ajustements créatifs afin que les plans correspondent mieux à la direction créative. Eddy est compatible avec le Deep Compositing.

« Eddy vous permet de faire des choses qui ne sont pas des effets 2D conventionnels, comme le feu, le vent ou l’eau. Vous lui donnez une dimension tridimensionnelle pour le rendre plus réaliste », a déclaré West. « Cela signifie également que vous pouvez pousser ce tuyau VFX plus loin dans la chaîne. Cela a déjà été utilisé dans plusieurs films. Ainsi, toutes ces fonctionnalités ont fait leurs preuves. Ils viennent tout juste d’être diffusés auprès d’un public plus large, et nous commençons ce processus au cours des deux prochains trimestres.

West a noté que certains des outils ont été utilisés dans des films comme The Banshees of Inishirin, nominé aux Oscars, pour rendre les vues de paysage moins peuplées pour s’adapter à l’époque du film.

« Il est rare de trouver un film maintenant qui n’a pas autant de travail CGI », a déclaré West.

« Notre objectif a toujours été d’aider les cinéastes, et une partie de ce processus consiste à étendre ce qui est possible dans les effets visuels », a déclaré Letteri, superviseur principal des effets visuels de WētāFX et cinq fois lauréat d’un Oscar, dans un communiqué. « La composition profonde, Wig et le framework de solveur intégré pour Loki sont tous des exemples de la façon dont nous avons mis à profit notre expérience avec certains des projets les plus importants et les plus complexes et intégré les connaissances que nous avons acquises dans les outils eux-mêmes. »

Natalya Tatarchuk, vice-présidente de Unity Wētā Tools, a déclaré dans un communiqué : « Nous sommes ravis de présenter un travail révolutionnaire dans la création de personnages, la construction d’environnements, le rendu et la composition. Nous travaillons dur pour rendre ces solutions puissantes accessibles à tous, en accélérant les flux de travail créatifs, en permettant une mise en œuvre transparente des changements créatifs et en fournissant des plans finaux de qualité exceptionnelle.

Les sessions donneront un aperçu des défis créatifs rencontrés lors de la création de personnages pour The Sea Beast de Netflix à l’aide de Ziva VFX de Unity Wētā Tools.

Unity surveille de près la technologie d’IA générative pour aider à la création de jeux.

Dans l’ensemble de l’industrie, elle a déclaré: « Je m’attendrais à voir quelque chose qui soit une sorte de solution de bout en bout, ou un film basé sur cela ou un film ou un jeu d’artisanat d’ici un à deux ans. »