Il faut des types d’IA pour créer un monde virtuel. PDG de Nvidia Jensen Huang a déclaré cette semaine lors d’une séance de questions-réponses lors de l’événement en ligne GTC22 que l’IA remplira automatiquement l’imagerie 3D du métaverse.

Il pense que l’IA fera le premier pas dans la création des objets 3D qui peuplent les vastes mondes virtuels du métaverse – puis les créateurs humains prendront le relais et les affineront à leur guise. Et bien que ce soit une très grande affirmation sur la façon dont l’IA sera intelligente, Nvidia a des recherches pour le sauvegarder.

Nvidia Research annonce ce matin qu’un nouveau modèle d’IA peut aider à contribuer aux mondes virtuels massifs créés par un nombre croissant d’entreprises et les créateurs pourraient être plus facilement peuplés d’un large éventail de bâtiments, de véhicules, de personnages en 3D, etc.

Ce genre d’imagerie banale représente une énorme quantité de travail fastidieux. Nvidia a déclaré que le monde réel est plein de variété : les rues sont bordées de bâtiments uniques, avec différents véhicules qui passent et des foules diverses qui passent. Modéliser manuellement un monde virtuel 3D qui reflète cela prend énormément de temps, ce qui rend difficile le remplissage d’un environnement numérique détaillé.

C’est ce genre de tâche que Nvidia veut faciliter avec ses outils Omniverse et son service cloud. Il espère faciliter la vie des développeurs lorsqu’il s’agit de créer des applications métavers. Et l’art auto-généré – comme nous l’avons vu cette année avec DALL-E et d’autres modèles d’IA – est un moyen d’alléger le fardeau de la construction d’un univers de mondes virtuels comme dans Chute de neige ou Prêt joueur un.

J’ai demandé à Huang dans une séance de questions-réponses avec la presse plus tôt cette semaine ce qui pourrait accélérer le métaverse. Il a fait allusion au travail de Nvidia Research, bien que la société n’ait rien dit jusqu’à aujourd’hui.

« Tout d’abord, comme vous le savez, le métaverse est créé par les utilisateurs. Et il est soit créé par nous à la main, soit créé par nous avec l’aide de l’IA », a déclaré Huang. « Et, et à l’avenir, il est très probable que nous décrirons une caractéristique d’une maison ou une caractéristique d’une ville ou quelque chose comme ça. Et c’est comme cette ville, ou c’est comme Toronto, ou c’est comme New York, et cela crée une nouvelle ville pour nous. Et peut-être qu’on n’aime pas ça. Nous pouvons lui donner des invites supplémentaires. Ou nous pouvons simplement continuer à appuyer sur « Entrée » jusqu’à ce qu’il en génère automatiquement un à partir duquel nous aimerions commencer. Et puis à partir de cela, à partir de ce monde, nous le modifierons. Et donc je pense que l’IA pour créer des mondes virtuels est en train de se réaliser au moment où nous parlons.

Détails de GET3D

Formé à l’aide d’images 2D uniquement, Nvidia GET3D génère des formes 3D avec des textures haute fidélité et des détails géométriques complexes. Ces objets 3D sont créés dans le même format que celui utilisé par les applications logicielles graphiques populaires, permettant aux utilisateurs d’importer immédiatement leurs formes dans des moteurs de rendu 3D et des moteurs de jeu pour une édition ultérieure.

Les objets générés pourraient être utilisés dans des représentations 3D de bâtiments, d’espaces extérieurs ou de villes entières, conçues pour des industries telles que les jeux, la robotique, l’architecture et les médias sociaux.

GET3D peut générer un nombre pratiquement illimité de formes 3D en fonction des données sur lesquelles il est formé. Comme un artiste qui transforme un morceau d’argile en une sculpture détaillée, le modèle transforme les nombres en formes 3D complexes.

« Au cœur de cela se trouve précisément la technologie dont je parlais il y a à peine une seconde, appelée grands modèles de langage », a-t-il déclaré. « Pouvoir apprendre de toutes les créations de l’humanité, et pouvoir imaginer un monde en 3D. Et ainsi des mots, à travers un grand modèle de langage, sortiront un jour, des triangles, de la géométrie, des textures et des matériaux. Et puis à partir de là, on le modifierait. Et, et parce que rien n’est pré-cuit, et rien n’est pré-rendu, toute cette simulation de la physique et toute la simulation de la lumière doivent être faites en temps réel. Et c’est la raison pour laquelle les dernières technologies que nous créons en ce qui concerne le rendu neuro RTX sont si importantes. Parce que nous ne pouvons pas le faire par la force brute. Nous avons besoin de l’aide de l’intelligence artificielle pour y parvenir.

Avec un ensemble de données d’entraînement d’images de voitures 2D, par exemple, il crée une collection de berlines, de camions, de voitures de course et de camionnettes. Lorsqu’il est formé sur des images d’animaux, il propose des créatures telles que des renards, des rhinocéros, des chevaux et des ours. Étant donné les chaises, le modèle génère un assortiment de chaises pivotantes, de chaises de salle à manger et de fauteuils inclinables confortables.

« GET3D nous rapproche de la démocratisation de la création de contenu 3D basée sur l’IA », a déclaré Sanja Fidler, vice-présidente de la recherche sur l’IA chez Nvidia et responsable du laboratoire d’IA basé à Toronto qui a créé l’outil. « Sa capacité à générer instantanément des formes 3D texturées pourrait changer la donne pour les développeurs, en les aidant à peupler rapidement des mondes virtuels avec des objets variés et intéressants. »

GET3D est l’un des plus de 20 articles et ateliers rédigés par Nvidia acceptés à la conférence NeurIPS AI, qui se déroule à la Nouvelle-Orléans et virtuellement, du 26 novembre au 26 décembre. 4.

Nvidia a déclaré que, bien que plus rapides que les méthodes manuelles, les modèles d’IA génératifs 3D antérieurs étaient limités dans le niveau de détail qu’ils pouvaient produire. Même les récentes méthodes de rendu inverse ne peuvent générer que des objets 3D basés sur des images 2D prises sous différents angles, obligeant les développeurs à créer une forme 3D à la fois.

GET3D peut à la place produire environ 20 formes par seconde lors de l’exécution de l’inférence sur une seule unité de traitement graphique (GPU) Nvidia – fonctionnant comme un réseau antagoniste génératif pour les images 2D, tout en générant des objets 3D. Plus l’ensemble de données d’apprentissage à partir duquel il a appris est vaste et diversifié, plus il est varié et
détaillé la sortie.

Les chercheurs de Nvidia ont formé GET3D sur des données synthétiques composées d’images 2D de formes 3D capturées sous différents angles de caméra. Il n’a fallu que deux jours à l’équipe pour former le modèle sur environ un million d’images à l’aide des GPU Nvidia A100 Tensor Core.

GET3D tire son nom de sa capacité à générer des maillages 3D texturés explicites, ce qui signifie que les formes qu’il crée se présentent sous la forme d’un maillage triangulaire, comme un modèle en papier mâché, recouvert d’un matériau texturé. Cela permet aux utilisateurs d’importer facilement les objets dans les moteurs de jeu, les modélisateurs 3D et les rendus de films – et de les éditer.

Une fois que les créateurs ont exporté les formes générées par GET3D vers une application graphique, ils peuvent appliquer des effets d’éclairage réalistes lorsque l’objet se déplace ou tourne dans une scène. En incorporant un autre outil d’IA de NVIDIA Research, StyleGAN-NADA, les développeurs peuvent utiliser des invites de texte pour ajouter un style spécifique à une image, comme modifier une voiture rendue pour devenir une voiture brûlée ou un taxi, ou transformer une maison ordinaire en un hanté une.

Les chercheurs notent qu’une future version de GET3D pourrait utiliser des techniques d’estimation de pose de caméra pour permettre aux développeurs de former le modèle sur des données du monde réel au lieu d’ensembles de données synthétiques. Il pourrait également être amélioré pour prendre en charge la génération universelle, ce qui signifie que les développeurs pourraient entraîner GET3D sur toutes sortes de formes 3D à la fois, plutôt que d’avoir à l’entraîner sur une catégorie d’objets à la fois.

Ainsi, l’IA générera des mondes, a déclaré Huang. Ces mondes seront des simulations, pas seulement des animations. Et pour gérer tout cela, Huang prévoit la nécessité de créer un « nouveau type de centre de données dans le monde ». C’est ce qu’on appelle un GDN, pas un CDN. Il s’agit d’un réseau de diffusion graphique, testé au combat via le service de jeu en nuage GeForce Now de Nvidia. Nvidia a pris ce service et l’utilise pour créer Omniverse Cloud, une suite d’outils qui peut être utilisée pour créer des applications Omniverse, à tout moment et n’importe où. Le GDN hébergera des jeux cloud ainsi que les outils métavers d’Omniverse Cloud.

Ce type de réseau pourrait fournir le calcul en temps réel nécessaire au métaverse.

« C’est une interactivité qui est essentiellement instantanée », a déclaré Huang.

Des développeurs de jeux demandent-ils cela? Eh bien, en fait, j’en connais un qui l’est. Brendan Greene, créateur du jeu Battle Royale PlayerUnknown’s Productions, a demandé ce type de technologie cette année lorsqu’il a annoncé Prologue, puis a révélé Project Artemis, une tentative de créer un monde virtuel de la taille de la Terre. Il a déclaré qu’il ne pouvait être construit qu’avec une combinaison de conception de jeux, de contenu généré par les utilisateurs et d’IA.

Eh bien, putain de merde.