Le format de fichier JPEG a joué un rôle crucial dans la transition du Web d’un monde de texte à une expérience visuelle grâce à un conteneur ouvert et efficace pour le partage d’images. Désormais, le format de transmission du langage graphique (glTF) promet de faire la même chose pour les objets 3D dans le métaverse et les jumeaux numériques.

JPEG a profité de diverses astuces de compression pour réduire considérablement les images par rapport à d’autres formats comme GIF. La dernière version de glTF tire également parti des techniques de compression à la fois de la géométrie des objets 3D et de leurs textures. Le glTF joue déjà un rôle central dans le commerce électronique, comme en témoigne la poussée d’Adobe dans le métaverse.

VentureBeat s’est entretenu avec Neil Trevett, président de la Fondation Khronos qui gère la norme glTF, pour en savoir plus sur ce que glTF signifie pour les entreprises. Il est également vice-président des écosystèmes de développeurs chez Nvidia, où son travail consiste à faciliter l’utilisation des GPU par les développeurs. Il explique comment glTF complète d’autres formats de jumeau numérique et de métaverse comme USD, comment l’utiliser et où il se dirige.

VentureBeat : Qu’est-ce que le glTF et comment s’intègre-t-il dans l’écosystème des types de formats de fichiers liés au métaverse et aux jumeaux numériques ?

Neil Trevet: Chez Khronos, nous mettons beaucoup d’efforts dans les API 3D comme OpenGL, WebGL et Vulkan. Nous avons constaté que chaque application qui utilise la 3D doit importer des ressources à un moment ou à un autre. Le format de fichier glTF est largement adopté et très complémentaire de l’USD, qui devient la norme pour la création et la rédaction sur des plateformes comme Omniverse. USD est l’endroit idéal si vous souhaitez regrouper plusieurs outils dans des pipelines sophistiqués et créer du contenu très haut de gamme, y compris des films. C’est pourquoi Nvidia investit massivement dans l’USD pour l’écosystème Omniverse.

D’autre part, glTF se concentre sur l’efficacité et la facilité d’utilisation en tant que format de diffusion. Il s’agit d’un format léger, rationalisé et facile à traiter que n’importe quelle plate-forme ou appareil peut utiliser jusqu’aux navigateurs Web sur les téléphones mobiles. Le slogan que nous utilisons comme analogie est que « glTF est le JPEG de la 3D ».

Il complète également les formats de fichiers utilisés dans les outils de création. Par exemple, Adobe Photoshop utilise des fichiers PSD pour éditer des images. Aucun photographe professionnel n’éditerait des fichiers JPEG car une grande partie de l’information a été perdue. Les fichiers PSD sont plus sophistiqués que les JPEG et prennent en charge plusieurs couches. Cependant, vous n’enverriez pas un fichier PSD sur le téléphone portable de ma mère. Vous avez besoin de JPEG pour le diffuser sur un milliard d’appareils aussi efficacement et rapidement que possible. Ainsi, l’USD et le glTF se complètent de la même manière.

VentureBeat : Comment passez-vous de l’un à l’autre ?

Trevet : Il est essentiel d’avoir un processus de distillation transparent, des actifs en USD aux actifs glTF. Nvidia investit dans un connecteur glTF pour Omniverse afin que nous puissions importer et exporter de manière transparente des actifs glTF vers et depuis Omniverse. Au sein du groupe de travail glTF de Khronos, nous sommes heureux que l’USD réponde aux besoins de l’industrie en matière de format de création, car cela représente une énorme quantité de travail. L’objectif est que glTF soit la cible de distillation idéale pour l’USD afin de soutenir un déploiement généralisé.

Un format de création et un format de livraison ont des impératifs de conception assez différents. La conception de l’USD est une question de flexibilité. Cela aide à composer des choses pour faire un film ou un environnement VR. Si vous souhaitez importer un autre élément et le fusionner avec la scène existante, vous devez conserver toutes les informations de conception. Et vous voulez que tout soit à des niveaux de résolution et de qualité réels.

La conception d’un format de transmission est différente. Par exemple, avec glTF, les informations de vertex ne sont pas très flexibles pour la réécriture. Mais il est transmis précisément sous la forme dont le GPU a besoin pour exécuter cette géométrie aussi efficacement que possible via une API 3D comme WebGL ou Vulkan. Ainsi, glTF met beaucoup d’efforts de conception dans la compression pour réduire les temps de téléchargement. Par exemple, Google a contribué leur Maille Draco 3D technologie de compression et Binomial a contribué leur Base technologie de compression de texture universelle. Nous commençons également à mettre beaucoup d’efforts dans la gestion du niveau de détail (LOD), afin que vous puissiez télécharger des modèles très efficacement.

La distillation permet de passer d’un format de fichier à l’autre. Une grande partie consiste à supprimer les informations de conception et de création dont vous n’avez plus besoin. Mais vous ne voulez pas réduire la qualité visuelle à moins que vous n’y soyez vraiment obligé. Avec glTF, vous pouvez conserver la fidélité visuelle, mais vous avez également le choix de compresser les choses lorsque vous visez un déploiement à faible bande passante.

VentureBeat : Combien plus petit pouvez-vous réduire sans perdre trop de fidélité ?

Trevet : C’est comme JPEG, où vous avez un cadran pour augmenter la compression avec une perte acceptable de qualité d’image, seul glTF a la même chose pour la compression de la géométrie et de la texture. S’il s’agit d’un modèle CAO à géométrie intensive, la géométrie constituera l’essentiel des données. Mais s’il s’agit davantage d’un modèle orienté consommateur, les données de texture peuvent être beaucoup plus volumineuses que la géométrie.

Avec Draco, réduire les données de 5 à 10 fois est raisonnable sans perte significative de qualité. Il y a aussi quelque chose de similaire pour la texture.

Un autre facteur est la quantité de mémoire nécessaire, qui est une ressource précieuse dans les téléphones mobiles. Avant d’implémenter la compression binomiale dans glTF, les gens envoyaient des JPEG, ce qui est formidable car ils sont relativement petits. Mais le processus de déballage dans une texture pleine grandeur peut prendre des centaines de mégaoctets, même pour un modèle simple, ce qui peut nuire à la puissance et aux performances d’un téléphone mobile. Les textures glTF vous permettent de prendre une texture super compressée au format JPEG et de la décompresser immédiatement dans une texture native GPU, de sorte qu’elle n’atteigne jamais sa taille maximale. En conséquence, vous réduisez à la fois la transmission de données et la mémoire requise de 5 à 10 fois. Cela peut être utile si vous téléchargez des actifs dans un navigateur sur un téléphone portable.

VentureBeat : Comment les gens représentent-ils efficacement les textures des objets 3D ?

Trevet : Eh bien, il existe deux classes de base de texture. L’une des plus courantes est simplement les textures basées sur des images, telles que le mappage d’une image de logo sur un t-shirt. L’autre est la texture procédurale, où vous générez un motif, comme le marbre, le bois ou la pierre, simplement en exécutant un algorithme.

Il existe plusieurs algorithmes que vous pouvez utiliser. Par exemple, Allegorithmic, qu’Adobe a récemment acquis, a été le pionnier d’une technique intéressante pour générer des textures désormais utilisées dans Adobe Substance Designer. Vous transformez souvent cette texture en image car elle est plus facile à traiter sur les appareils clients.

Une fois que vous avez une texture, vous pouvez faire plus que simplement la coller sur le modèle comme un morceau de papier d’emballage. Vous pouvez utiliser ces images de texture pour créer une apparence de matériau plus sophistiquée. Par exemple, les matériaux de rendu physique (PBR) sont là où vous essayez d’aller aussi loin que vous pouvez émuler les caractéristiques des matériaux du monde réel. Est-ce métallique, ce qui lui donne un aspect brillant ? Est-il translucide ? Réfracte-t-il la lumière ? Certains des algorithmes PBR les plus sophistiqués peuvent utiliser jusqu’à 5 ou 6 cartes de texture différentes alimentant des paramètres caractérisant son degré de brillance ou de translucidité.

VentureBeat : Comment glTF a-t-il progressé du côté du graphe scénique pour représenter les relations au sein des objets, comme la façon dont les roues de voiture peuvent tourner ou connecter plusieurs choses ?

Trevet : C’est un domaine où l’USD a une longueur d’avance sur le glTF. Jusqu’à présent, la plupart des cas d’utilisation de glTF ont été satisfaits par un seul actif dans un seul fichier d’actif. Le commerce 3D est un cas d’utilisation majeur où vous souhaitez monter une chaise et la déposer dans votre salon comme Ikea. Il s’agit d’un seul atout glTF, et de nombreux cas d’utilisation en ont été satisfaits. Alors que nous nous dirigeons vers le métaverse et la RV et la RA, les gens veulent créer des scènes avec plusieurs actifs à déployer. Un domaine actif en cours de discussion dans le groupe de travail est la meilleure façon d’implémenter des scènes et des actifs multi glTF et comment nous les lions. Il ne sera pas aussi sophistiqué que l’USD puisque l’accent est mis sur la transmission et la livraison plutôt que sur la création. Mais glTF aura quelque chose pour permettre la composition et la liaison multi-actifs dans les 12 à 18 prochains mois.

VentureBeat : Comment glTF va-t-il évoluer pour prendre en charge davantage de cas d’utilisation de métavers et de jumeaux numériques ?

Trevet : Nous devons commencer à apporter des choses au-delà de l’apparence physique. Nous avons aujourd’hui de la géométrie, des textures et des animations dans glTF 2.0. Le glTF actuel ne dit rien sur les propriétés physiques, les sons ou les interactions. Je pense qu’une grande partie de la prochaine génération d’extensions pour glTF intégrera ce type de comportement et de propriétés.

L’industrie est en train de décider en ce moment que ce sera l’USD et le glTF à l’avenir. Bien qu’il existe des formats plus anciens comme OBJ, ils commencent à montrer leur âge. Il existe des formats populaires comme FBX qui sont propriétaires. USD est un projet open source et glTF est une norme ouverte. Les gens peuvent participer aux deux écosystèmes et aider à les faire évoluer pour répondre aux besoins de leurs clients et du marché. Je pense que les deux formats vont en quelque sorte évoluer côte à côte. Maintenant, l’objectif est de les maintenir alignés et de maintenir ce processus de distillation efficace entre les deux.