Studios répliques dévoile des PNJ intelligents alimentés par l’IA (personnages non joueurs) pour la plate-forme Unreal Engine.

La société a publié une démo mettant en évidence le logiciel, qui combine la voix de l’IA de Replica Studio et OpenAI permet aux joueurs d’avoir des conversations dynamiques avec des PNJ qui répondent en temps réel.

La démo de la vidéo a l’air un peu rude, car elle utilise les images d’Epic Games de la technologie Unreal Engine 5 basées sur la démo The Matrix Awakens ainsi que la technologie Digital Humans d’Epic. Mais Replica a déclaré avoir fourni aux PNJ des la capacité de répondre avec des conversations intelligentes aux invites des joueurs humains.

Encore une fois, les réponses des PNJ sont plutôt lentes, mais ce n’est qu’une démo et le vrai plugin arrivera sur Unreal Engine plus tard cette année. Il aura un rival dans Inworld AI et d’autres sociétés d’IA ciblant les jeux.

Les PNJ intelligents sont alimentés par OpenAI ou le propre modèle de langage d’IA de l’utilisateur, et la bibliothèque de Replica de plus de 120 voix d’IA sous licence éthique, permettant aux développeurs de jeux de développer des jeux à grande échelle et de créer de nouvelles expériences de jeu dynamiques.

Pour présenter la technologie révolutionnaire, Replica a publié une expérience de démonstration intelligente de PNJ utilisant une version modifiée de l’exemple de projet Matrix Awakens d’Unreal Engine pour présenter certaines des fonctionnalités qui seront disponibles avec le plug-in.

«Chez Replica, nous pensons que la technologie AI Voice a un double potentiel pour faire avancer les jeux à forte narration: éliminer les goulots d’étranglement critiques dans le processus de développement, permettre aux studios de raconter des histoires toujours plus grandes et immersives et permettre la création de jamais vu auparavant. des expériences de jeu mondiales qui façonnent le joueur en temps réel », a déclaré Shreyas Nivas, PDG de Replica Studios, dans un communiqué. « Les PNJ intelligents permettront aux petits studios qui n’ont pas les ressources nécessaires pour scénariser et vocaliser à grande échelle de rêver grand et de faire évoluer leurs jeux 10 fois ou 100 fois dans l’aventure épique qu’ils ont toujours voulu faire. »

Dans l’expérience NPC intelligente de Replica, les PNJ alimentés par l’IA répondront dynamiquement à la voix du joueur dans le jeu en temps réel, a déclaré la société. Les personnages changeront leur dialogue, leur ton émotionnel et leurs gestes corporels en réaction à la façon dont le joueur leur parle.

Les PNJ de Replica Studios ont désormais une plus large gamme d’émotions grâce à la récente mise à jour Style Morphing de Replica.

Les concepteurs de jeux peuvent également modifier les informations fournies aux personnages IA pour leur demander de se comporter différemment ou d’avoir certaines personnalités ou d’incorporer leurs propres modèles de langage IA en fonction de leur projet.

« Tout comme les jeux de service en direct et la bataille royale sont devenus des expériences de jeu populaires au cours de la dernière décennie, nous voyons l’IA créer une nouvelle catégorie d’expériences virtuelles connues pour la profondeur de la narration narrative et dynamique avec des centaines de personnages, des quêtes et des histoires en constante expansion. « , a déclaré Nivas. « Lorsque les équipes commenceront à adopter l’IA pour créer ces nouvelles expériences, nous verrons le rôle des écrivains et des concepteurs narratifs évoluer. Plutôt que d’écrire des arcs narratifs complets, ils créeront et affineront les conditions qui alimentent ces PNJ intelligents IA – légendes du jeu, histoires et motivations – pour ajouter un élément humain qui conduira à une expérience de joueur en direct engageante.

Lorsque le plugin Smart NPC de Replica sera lancé pour Unreal Engine plus tard cette année, les développeurs de jeux pourront intégrer des Smart NPC dans leurs propres projets pour commencer à faire évoluer les personnages dans leurs jeux. Le plugin intègre l’intelligence du modèle de langage AI ainsi que les modèles de synthèse vocale de Replica et anime les personnages en temps réel en émettant des phonèmes sonores et des chronologies pour correspondre à un flux audio tout en utilisant un espace de mélange personnalisé pour les animations faciales afin d’alimenter une synchronisation labiale précise, et des plans d’animation personnalisés pour envoyer des messages gestuels corporels aux PNJ pendant leurs phases d’écoute, de réflexion et de parole.

Le résultat est un PNJ à l’apparence et au comportement naturels qui peut surprendre et ravir les joueurs avec des réponses réfléchies, drôles et provocantes, en fonction de leurs contextes personnels ainsi que de l’entrée vocale directement capturée à partir des microphones des joueurs.

La démo fonctionnera initialement comme une solution basée sur le cloud, mais travaille vers une solution basée localement pour offrir une expérience en direct simultanée à faible latence et multi-utilisateurs.

« Dans le prochain saut technologique, nous verrons des jeux en direct et des expériences virtuelles de PNJ intelligents alimentés par l’IA avec des centaines de joueurs et de PNJ simultanés en direct, sans plus de latence qu’un appel vidéo zoom qui compte des centaines de participants », a déclaré Nivas.

Depuis le lancement de la plateforme en 2019, Replica est à la pointe de la révolution vocale de l’IA. Replica a été utilisé par des milliers de développeurs de jeux pour enrichir leurs projets avec des voix sous licence. Il ne doit pas être confondu avec la société similaire Replika.

L’entreprise compte 12 employés et a levé 4,6 millions de dollars à ce jour. Cela a commencé en 2018. Interrogé sur l’inspiration, Nivas a déclaré dans un e-mail à GamesBeat : « Nous sommes fortement inspirés par les jeux et la narration et avons vu le potentiel de la technologie vocale AI pour permettre à de plus en plus de créateurs de créer des jeux avec voix, comme ainsi que de permettre aux plus grandes sociétés de jeux de créer des jeux beaucoup plus gros et d’incorporer des éléments dynamiques à leur capacité de narration.

Il a ajouté : « Notre objectif depuis le lancement de notre plate-forme a été d’améliorer la qualité de la voix au point qu’elle ne se distingue pas d’un véritable acteur vocal, et de créer des outils et des services spécifiquement pour les développeurs de jeux afin qu’ils puissent adapter de manière transparente la technologie Replica à n’importe quel moteur de jeu. ou tout projet sur lequel ils travaillent tout au long de leurs cycles de production, tout en créant les modèles de licence les plus éthiques pour attirer les meilleurs talents vocaux au monde.

J’ai posé des questions sur la qualité de la démo et sur ce qui était unique dans la technologie.

Nivas a déclaré: «En 2019, nous utilisions déjà GPT2 pour certaines tâches créatives et alors que la technologie était précoce, nous pouvions déjà voir le potentiel de systèmes comme celui-ci pour améliorer et compléter les créateurs, les écrivains et les concepteurs de jeux dans des tentes d’idéations, de scripts et de dialogues. génération. »

Il a également déclaré: «Cependant, à mesure que les systèmes se sont améliorés, nous avons ressenti le besoin de développer notre propre SDK qui offre les meilleures voix d’IA de sa catégorie pour les jeux avec les derniers modèles GPT et de nouveaux modèles de grande langue (LLM) afin que les développeurs puissent tester ces systèmes. notre démo jouable avec The Matrix Awakens est un excellent exemple des possibilités offertes aux développeurs de jeux utilisant Unreal Engine 5. Nous travaillons actuellement sur des améliorations de la latence, des améliorations de la qualité de la voix et l’ajout de la prise en charge d’Unity et d’autres moteurs de jeu majeurs.