Nvidia a déclaré que la plate-forme Omniverse tirera parti du cadre OpenUSD et de l’IA générative (IA) pour accélérer la création de mondes virtuels et de flux de travail avancés pour la numérisation industrielle.

Nvidia a déployé un tas d’annonces liées à sa plate-forme Omniverse, qui est une plate-forme unificatrice pour le métaverse industriel, lors de l’événement d’infographie Siggraph à Los Angeles.

Le PDG de Nvidia, Jensen Huang, a fait de nombreuses annonces sur les puces graphiques de la station de travail RTX, les outils d’IA générative et les contributions de Nvidia au format de fichier 3D Open Universal Scene Description (OpenUSD) pour la construction d’un monde 3D ouvert et extensible.

Rev Lebaredian, vice-président d’Omniverse et de la technologie de simulation chez Nvidia, a déclaré dans une interview avec VentureBeat que l’IA générative allait donner un grand coup de pouce à Omniverse.

« Nvidia AI et Omniverse sont deux plates-formes distinctes », a déclaré Lebaredian. « Mais ils sont liés. Ils se soutiennent. Nous ne pouvons pas prédire exactement quand l’IA sera suffisamment intelligente pour faire certaines des choses que nous voulons. Il n’y a aucun moyen de savoir. C’est toute la recherche. Nous sommes agréablement surpris que les grands modèles de langage et les choses qu’ils font avec ChatGPT montrent que le monde s’est produit un peu plus tôt que prévu par la plupart des gens. Et maintenant, nous exploitons cela pour Omniverse.

Le mariage de l’IA et de l’Omnivers

Lebaredian a déclaré qu’avec l’IA aujourd’hui, le grand changement est que les grands modèles de langage encapsulent beaucoup de connaissances et il semble que l’IA comprenne ce que les humains recherchent.

« Cela change tout pour l’USD et ce que nous faisons avec la 3D », a-t-il déclaré. « L’un des changements fondamentaux est la capacité de discerner le langage naturel et l’intention humaine. Peu de gens dans le monde ont une compréhension approfondie du fonctionnement d’un ordinateur et du fonctionnement des langages informatiques. Peu de gens dans le monde savent écrire des logiciels. Mais ce que nous voyons avec ChatGPT, et dans tous ces autres modèles, c’est qu’ils sont en fait assez bons pour écrire des logiciels, ce qui démocratise la capacité de programmer. On a l’impression qu’il ne faudra pas longtemps pour que pratiquement tous ceux qui ont accès à un ordinateur deviennent essentiellement des programmeurs. Vous lui dites simplement quoi faire.

« Avec la création de mondes virtuels 3D, c’est inestimable », a déclaré Lebaredian. Être capable d’écrire des programmes qui vous aident à générer les mondes est génial. Donc, ce que nous avons annoncé là-bas, c’est que nous travaillons sur la formation d’un modèle spécialisé avec USD avec du code qui appelle les API USD. Nous appelons ces extraits de code. C’est pour que n’importe qui puisse potentiellement devenir développeur pour USD.

Il a dit que vous pouvez utiliser des invites pour faire des choses comme trouver tous les objets de la scène. Vous pouvez lui dire de trouver tous les objets de la scène qui sont plus grands qu’une certaine quantité ou qui ont un matériau métallique. Normalement, vous devriez écrire un script Python ou du C++ pour faire quelque chose comme ça.

Mises à niveau omnivers

Omniverse, la plate-forme de Nvidia pour la construction et la connexion d’outils 3D, a reçu une mise à jour majeure. Les nouveaux connecteurs et avancées présentés dans les applications de base Omniverse améliorent l’efficacité et l’expérience utilisateur de la plate-forme. Les mises à jour notables incluent Omniverse USD Composer, qui permet aux utilisateurs d’assembler des scènes à grande échelle basées sur OpenUSD, et Omniverse Audio2Face, qui fournit des API d’IA génératives pour des animations et des gestes faciaux réalistes.

Les applications populaires telles que Cesium, Convai, Move AI, SideFX Houdini et Wonder Dynamics sont désormais connectées de manière transparente à Omniverse via OpenUSD, ce qui étend les capacités de la plateforme.

Rev Lebaredian, vice-président d’Omniverse and Simulation Technology chez Nvidia, a déclaré dans une interview à GamesBeat qu’il existe une demande croissante d’écosystèmes logiciels 3D connectés et interopérables parmi les entreprises industrielles.

Il a souligné que la dernière mise à jour d’Omniverse permet aux développeurs d’exploiter l’IA générative via OpenUSD, améliorant ainsi leurs outils. De plus, la mise à jour permet aux entreprises de créer des simulations à l’échelle mondiale plus grandes et plus complexes, servant de terrain d’essai numérique pour les applications industrielles.

Les principales améliorations apportées à la plate-forme Omniverse incluent des améliorations à Omniverse Kit, qui sert de moteur pour le développement d’applications et d’extensions OpenUSD natives. De plus, Nvidia a introduit Omniverse Kit Extension Registry, un référentiel central pour accéder, partager et gérer les extensions Omniverse.

Ce registre permet aux développeurs de personnaliser facilement leurs applications en leur permettant d’activer et de désactiver des fonctionnalités. De plus, des outils de développement de réalité étendue ont été introduits, permettant aux utilisateurs d’intégrer des options de calcul spatial dans leurs applications basées sur Omniverse.

Avec plus de 600 extensions Omniverse de base fournies par les développeurs Nvidia, ils peuvent désormais créer des applications personnalisées plus facilement, permettant la création d’applications modulaires.

La mise à jour Omniverse apporte également de nouveaux modèles et ressources de développeur qui offrent une longueur d’avance aux développeurs commençant par OpenUSD et Omniverse, nécessitant un minimum de codage pour démarrer. Des optimisations de rendu ont été mises en œuvre pour tirer pleinement parti des capacités des améliorations de l’architecture Ada Lovelace de Nvidia dans les GPU Nvidia RTX. L’intégration de la technologie DLSS 3 dans l’Omniverse RTX Renderer et l’ajout d’un débruiteur AI permettent le traçage de chemin 4K en temps réel de scènes industrielles massives.

Un autre point fort de la mise à jour est l’intégration spatiale native alimentée par RTX, qui permet aux utilisateurs de créer des options de calcul spatial directement dans leurs applications basées sur Omniverse. Cette intégration offre aux utilisateurs une flexibilité dans l’expérience de leurs projets 3D et de leurs mondes virtuels.

La mise à jour de la plate-forme Omniverse comprend des mises à niveau vers diverses applications de base, qui servent d’applications de référence personnalisables pour les créateurs, les entreprises et les développeurs. L’une de ces applications est Omniverse USD Composer, qui permet aux utilisateurs d’assembler des scènes OpenUSD à grande échelle. Omniverse Audio2Face, une autre application mise à niveau, offre un accès à des API d’IA génératives pour créer des animations faciales et des gestes réalistes à partir de fichiers audio, incluant désormais une prise en charge multilingue et un nouveau modèle de base féminin.

Nouveaux partenaires Omnivers

Plusieurs clients ont déjà adopté Omniverse pour diverses tâches de numérisation. Le Boston Dynamics AI Institute utilise Omniverse pour simuler des robots et leurs interactions, facilitant ainsi la conception de nouveaux systèmes de robotique et de contrôle.

Continental, une entreprise leader dans les systèmes automobiles et autonomes, s’appuie sur Omniverse pour générer des données synthétiques physiquement précises à grande échelle pour former des modèles d’IA de vision par ordinateur et effectuer des tests d’intégration de système dans son activité de robots mobiles.

Volvo Cars a fait la transition de son jumeau numérique pour qu’il soit basé sur OpenUSD, offrant des visualisations immersives pour aider les clients à prendre des décisions d’achat en ligne. Marks Design, une agence de conception et d’expérience de marque, a adopté Omniverse et OpenUSD pour rationaliser la collaboration et améliorer les workflows d’animation, de visualisation et de rendu.

La dernière version de la plate-forme Omniverse est actuellement disponible en version bêta pour téléchargement et test gratuits. Nvidia prévoit de lancer la version commerciale d’Omniverse dans les mois à venir, offrant des plans d’abonnement et un support d’entreprise pour répondre aux besoins des entreprises et des organisations.

Avec la mise à jour majeure d’Omniverse, Nvidia vise à donner aux développeurs, aux créateurs et aux entreprises industrielles des pipelines 3D avancés et des capacités d’IA génératives.

L’intégration de la plate-forme avec des applications populaires, des ressources de développement améliorées et des partenariats d’écosystème élargis sont destinés à stimuler l’innovation dans les domaines de la numérisation industrielle, de la robotique, des systèmes autonomes, de l’infographie, etc.

Plus d’annonces

Dans un grand pas vers l’ouverture de la prochaine ère des graphismes, de la conception et de la simulation 3D, Nvidia a officiellement annoncé sa participation à l’Alliance for OpenUSD, en s’associant aux géants de l’industrie Pixar, Adobe, Apple et Autodesk. Cette collaboration garantit la compatibilité des outils et du contenu 3D dans tous les secteurs, ouvrant la voie à la numérisation. (Intel et Advanced Micro Devices n’ont pas encore rejoint cet effort).

Nvidia a également lancé trois nouveaux GPU Ada Generation pour postes de travail de bureau : les NVIDIA RTX 5000, RTX 4500 et RTX 4000. Et Shutterstock, une plate-forme créative pour les créateurs d’images, a dévoilé son utilisation de l’IA générative dans les arrière-plans de scènes 3D.

En s’appuyant sur Nvidia Picasso, une fonderie basée sur le cloud pour la création de modèles d’IA génératifs visuels, Shutterstock a formé un modèle de base capable de générer des cartes d’environnement d’imagerie à plage dynamique élevée (HDRi) photoréalistes, 8K et 360 degrés.

Ce développement permet un développement de scène plus rapide pour les artistes et les designers. De plus, Autodesk a annoncé son intégration de services de création de contenu IA génératifs, développés à l’aide de modèles de base dans Picasso, avec son logiciel populaire Autodesk Maya.

Les versions du pilote Nvidia Studio, qui offrent des performances et une fiabilité optimales aux artistes, créateurs et développeurs 3D, ont également reçu une mise à jour. Le pilote Nvidia Studio d’août inclut la prise en charge des mises à jour d’Omniverse, XSplit Broadcaster et Reallusion iClone, garantissant une fiabilité maximale pour les applications créatives préférées des utilisateurs.

Adobe et Nvidia ont renforcé leur collaboration dans les initiatives Adobe Substance 3D, IA générative et OpenUSD. Ils ont annoncé leur intention de rendre Adobe Firefly, la famille de modèles d’IA générative créative d’Adobe, disponible sous forme d’API dans Omniverse, améliorant ainsi les processus de conception des développeurs et des créateurs.

Les nouveaux GPU de bureau professionnels Nvidia RTX 5000, RTX 4500 et RTX 4000 Ada Generation, dotés de l’architecture Ada Lovelace de Nvidia, offrent un rendu amélioré, une interactivité en temps réel et des performances d’IA dans les applications 3D.

Ces GPU intègrent des cœurs RT de troisième génération pour un traitement d’image amélioré et des cœurs Tensor de quatrième génération pour la formation et le développement de l’IA. Avec une grande mémoire GPU et des capacités d’encodage vidéo avancées, les GPU sont conçus pour répondre aux exigences des flux de travail créatifs haut de gamme.

Au cours de l’événement, l’artiste Nvidia Andrew Averkin a présenté son travail, « Natural Coffee », qui illustre la fusion de l’art et de la technologie. Averkin a utilisé l’IA pour générer des idées visuelles et a utilisé les GPU de Nvidia et Omniverse USD Composer pour une modélisation 3D, un éclairage et une composition de scène efficaces. L’intégration de ces outils a considérablement réduit le temps nécessaire à la création de scènes 3D immersives.