Au Computex, Nvidia a dévoilé son Nvidia Avatar Cloud Engine (ACE) pour les jeux, permettant des personnages non jouables (PNJ) basés sur l’IA plus intelligents pour les applications de jeu.

ACE est un service de fonderie de modèles d’IA personnalisé qui transforme les jeux en apportant de l’intelligence aux PNJ grâce à des interactions en langage naturel alimentées par l’IA.

Les développeurs d’intergiciels, d’outils et de jeux peuvent utiliser ACE for Games pour créer et déployer des modèles d’intelligence artificielle personnalisés pour la parole, la conversation et l’animation dans leurs logiciels et leurs jeux, a annoncé Nvidia lors du grand salon informatique de Taïwan.

« L’IA générative a le potentiel de révolutionner l’interactivité que les joueurs peuvent avoir avec les personnages du jeu et d’augmenter considérablement l’immersion dans les jeux », a déclaré John Spitzer, vice-président des développeurs et des technologies de performance chez Nvidia, dans un communiqué. « S’appuyant sur notre expertise en IA et sur des décennies d’expérience de travail avec les développeurs de jeux, NVIDIA est le fer de lance de l’utilisation de l’IA générative dans les jeux. »

Une IA générative pionnière dans les jeux

S’appuyant sur Omniverse de Nvidia, une plate-forme de collaboration métaverse pour les ingénieurs, ACE for Games fournit des modèles de base d’IA optimisés pour la parole, la conversation et l’animation de personnages.

Cela inclut Nvidia NeMoTM – pour la création, la personnalisation et le déploiement de modèles de langage, à l’aide de données propriétaires. Les grands modèles de langage peuvent être personnalisés avec des histoires de lore et de personnages, et protégés contre les conversations contre-productives ou dangereuses via NeMo Guardrails.

Il comprend également Nvidia Riva pour la reconnaissance vocale automatique et la synthèse vocale pour permettre une conversation vocale en direct.

Et il a Nvidia Omniverse Audio2Face – pour créer instantanément une animation faciale expressive d’un personnage de jeu pour correspondre à n’importe quelle piste vocale. Audio2Face propose des connecteurs Omniverse pour Unreal Engine 5, afin que les développeurs puissent ajouter une animation faciale directement aux personnages MetaHuman.

Les développeurs peuvent intégrer l’intégralité de la solution Nvidia ACE for Games ou n’utiliser que les composants dont ils ont besoin.

La démo de Kairos offre un aperçu du futur des jeux

Nvidia a collaboré avec Convai, membre du programme de démarrage Inception axé sur l’IA de Nvidia, pour montrer comment les développeurs pourront bientôt utiliser Nvidia ACE for Games pour créer des PNJ. Convai,
qui se concentre sur le développement d’une IA conversationnelle de pointe pour les mondes de jeux virtuels, a intégré des modules ACE dans sa plate-forme d’avatar en temps réel de bout en bout.

Dans une démo, appelée Kairos, les joueurs interagissent avec Jin, le fournisseur d’un magasin de ramen. Bien qu’il soit un PNJ, Jin répond aux requêtes en langage naturel de manière réaliste et cohérente avec la trame de fond narrative – le tout avec l’aide de l’IA générative. La démo est rendue dans Unreal Engine 5 en utilisant les dernières fonctionnalités de lancer de rayons et Nvidia DLSS.

« Avec Nvidia ACE for Games, les outils de Convai peuvent atteindre la latence et la qualité nécessaires pour rendre les personnages IA non jouables disponibles pour presque tous les développeurs de manière rentable », a déclaré Purnendu Mukherjee, fondateur et PDG de Convai, dans un communiqué.

Les réseaux de neurones permettant à Nvidia ACE for Games sont optimisés pour différentes capacités, avec différents compromis de taille, de performances et de qualité. Le service de fonderie ACE for Games aidera les développeurs à affiner les modèles pour leurs jeux, puis Nvidia pourra les déployer via Nvidia DGX Cloud, les PC GeForce RTX ou sur site pour une inférence en temps réel.

Les modèles sont optimisés pour la latence, une exigence essentielle pour des interactions immersives et réactives dans les jeux.

L’IA générative pour transformer l’expérience de jeu

Les développeurs de jeux et les startups utilisent déjà les technologies d’IA générative de Nvidia pour leurs flux de travail.

Par exemple, GSC Game World, l’un des principaux développeurs de jeux en Europe, adopte Audio2Face dans son prochain jeu, STALKER 2 Heart of Chernobyl.

Et Fallen Leaf, un développeur de jeux indépendant, utilise Audio2Face pour l’animation faciale des personnages de Fort Solis, un thriller de science-fiction à la troisième personne qui se déroule sur Mars.

Pendant ce temps, Charisma.ai, une entreprise permettant des personnages virtuels via l’IA, s’appuie sur Audio2Face pour alimenter l’animation dans son moteur de conversation.