Si Mark Zuckerberg a raison, le métaverse sera le successeur 3D des médias sociaux 2D actuels. Mais pour y arriver avec style, nous devrons embellir nos images virtuelles.
YOOM veut être votre créateur d’avatar de nouvelle génération.
Dans le monde du jeu en ligne, les avatars sont une représentation numérique d’un joueur. Ils peuvent ressembler à la personne réelle ou être améliorés numériquement. Vous voulez cracher du feu comme un dragon ou faire du sport avec des cornes de Viking ? Bien sûr, pourquoi pas.
Dans un passé pas si lointain, la création d’un avatar réaliste pouvant se déplacer naturellement dans l’espace numérique nécessitait un studio dédié équipé de caméras, de logiciels sur mesure et de suffisamment d’ordinateurs pour gérer les exigences de traitement.
YOOM crée la même illusion avec quelques caméras standard, une intelligence artificielle et un logiciel de vision par ordinateur.
« Si je veux être dans World of Warcraft ou Roblox [a popular gaming platform with 1.7 billion users], je peux utiliser mon téléphone pour créer mon propre avatar. Je peux l’augmenter pour qu’il ressemble à un elfe ou pour me faire apparaître tampon », a déclaré le PDG de YOOM, Gilad Talmon, à ISRAEL21c.
L’avatar reçoit le traitement 3D grâce à des algorithmes de capture de mouvement, la même technologie utilisée pour fabriquer Golem dans Le Seigneur des Anneaux ou César dans le Planète des singes les films semblent réalistes. L’effet fonctionne mieux lorsque le joueur porte des lunettes de réalité virtuelle (VR) – ou au moins un casque de réalité augmentée (AR).
Ce n’est pas seulement pour les jeux.
« Si vous voulez regarder une performance de rap de Travis Scott à Fortnite, vous pouvez y aller seul et passer du temps avec vos amis », explique Talmon.
Juste comme être là ? Pas tout à fait, mais à mesure que le métaverse gagne en complexité, serons-nous finalement incapables de faire la différence ?
L’algorithme fait tout le travail
Les professionnels peuvent utiliser YOOM pour créer des avatars parmi lesquels les joueurs peuvent choisir. Ce n’est pas une tâche facile. Considérez Keanu Reeves dans le jeu vidéo La matrice se réveille.
« Ils devaient faire une capture de mouvement de son visage et de tout son corps, et ils avaient besoin d’un artiste 3D pour nettoyer la capture et le mouvement », explique Talmon.
« C’est un processus long et coûteux pour atteindre des niveaux élevés. Avec notre technologie, il suffit de filmer la vidéo et vous obtenez une très haute fidélité. L’algorithme fait tout le travail, puis il l’applique à tous les pipelines dont vous disposez. »
Fondée en 2016 sous le nom de Tetavi, la société a été renommée YOOM pour mieux décrire ce qu’elle fait : la « capture volumétrique » ou la capture d’images en trois dimensions. Lorsqu’elles sont exécutées en séquence, ces images créent l’impression de mouvement. (Une vidéo, par comparaison, est une séquence d’images 2D.)
« C’est un mouvement très fluide, pas comme le mouvement que vous voyez habituellement dans les jeux », explique Talmon. « Les expressions faciales semblent réelles. »
Talmon est venu à YOOM de l’entrepreneur aérospatial Elbit, où il a travaillé sur des projets qui « ont amené le casque connecté du monde des pilotes de chasse à des utilisations civiles telles que la recherche et le sauvetage ».
3 pétaoctets de données
Un avatar créé par YOOM peut être « gamifié » par les développeurs pour effectuer des tâches supplémentaires que le joueur ne peut pas faire dans la vraie vie. Comme sauter par-dessus de grands immeubles en un seul bond, peut-être ?
Cela nécessite beaucoup de données, ce que YOOM possède en abondance.
« Nous avons scanné des milliers de personnes », dit Talmon. « Différentes tranches d’âge, différentes régions, différentes morphologies et coiffures. Nous avons un référentiel de trois pétaoctets de données.
L’intelligence artificielle comble la plupart des lacunes. « Si vous voyez des plis sur le devant de ma chemise, vous pouvez supposer qu’ils continueront jusqu’au dos. S’il y a un numéro de joueur sur le devant d’un maillot, vous pouvez être sûr qu’il y en aura aussi au dos. Mais si j’ai un tatouage dans le dos, vous ne le devinerez jamais.
La version professionnelle du logiciel de YOOM est «précise au sous-millimètre», affirme Talmon.
La version maison, qui sortira cette année, est moins exigeante. Mais les enjeux ne sont pas aussi élevés non plus. « Si vous avez manqué un petit morceau de cheveux ou un peu de queue de cheval, vous vous en fichez. Tout ce que vous avez à faire pour vous embarquer dans un jeu est de prendre une photo. L’algorithme fait le reste.
Clips musicaux, sports
Il existe de nombreux cas d’utilisation possibles pour YOOM.
Par exemple, les musiciens Besomorph et Riell ont créé des vidéos en utilisant la technologie de YOOM.
La plupart des vidéoclips utilisent aujourd’hui un écran vert pour placer l’artiste dans un arrière-plan qui n’est pas vraiment là. « C’est quelque chose qui peut prendre des heures à mettre en place », dit Talmon.
YOOM permet aux développeurs de créer l’avatar réaliste du mouvement du musicien, puis de le placer dans un environnement 3D où il peut fonctionner presque indépendamment.
Envie de chanter en duo avec Beyonce où vous êtes tous les deux dans la vidéo ? YOOM peut le faire. (Beyonce devrait être un client YOOM, bien sûr.)
« Cela crée un nouveau niveau d’interaction entre les artistes et leurs fans », déclare Talmon.
En 2020, au plus fort de la pandémie de Covid, le président israélien de l’époque, Reuven Rivlin, a enregistré un Voeux de la fête de l’indépendance utilisant la technologie YOOM (quand elle s’appelait encore Tetavi), invitant les citoyens à prendre un selfie avec une version virtuelle de lui-même.
Les Kings de Los Angeles ont utilisé le logiciel YOOM pour devenir la première équipe de la LNH à entrer dans le métaverse.
YOOM a emmené son studio de production portable sur la patinoire d’entraînement des Kings en Californie et a filmé les joueurs s’entraînant à pleine vitesse pendant que huit caméras capturaient leurs mouvements.
Le même processus a été utilisé pour filmer la mascotte du lion des Kings, Bailey, frappant un tambour et dansant. Le produit final a été diffusé sur les écrans vidéo de l’arène.
De grands projets
YOOM a levé un total de 50 millions de dollars et compte 80 employés à New York, Tokyo, Los Angeles et Tel Aviv. La société a un modèle de licence et de redevances similaire à celui des éditeurs de jeux tels que Unity, Roblox et Epic Games.
« Nous essayons essentiellement de changer la façon dont les humains communiquent », a déclaré Talmon à ISRAEL21c.
« Je considère la communication humaine comme le transfert de messages d’une personne à une autre. Aujourd’hui, la plupart des communications humaines se font via des écrans plats. Nous essayons d’apporter cela au monde 3D où c’est plus naturel, comme si la conversation se déroulait assis ensemble dans la même pièce.
Nous ne sommes qu’à la pointe de l’iceberg, souligne Talmon. « Nous n’avons pas encore d’idée d’où cela ira. Nous nous concentrons d’abord sur le jeu parce que cela existe déjà. À long terme, cela changera vraiment la façon dont les humains communiquent.
Alors que le métaverse est encore dans cinq à 10 ans, ajoute Talmon, « cet environnement virtuel immersif est là aujourd’hui. Lorsque nous pensons à la direction que prend le monde, cela a le potentiel d’apporter un énorme bien net à la société.
Pour en savoir plus sur YOOM, cliquez sur ici.
