Graphique de la paroles a levé 7 millions de dollars de financement pour développer sa technologie d’animation faciale basée sur l’audio. Il permet aux personnages animés de jeux et d’autres applications de bouger correctement leur bouche en temps réel lorsqu’ils prononcent des mots prononcés.

Vous pouvez le considérer comme une nouvelle façon de copier ou de synchroniser les lèvres pour les jeux et autres applications, en utilisant l’IA.

Speech Graphics, basé à Édimbourg, en Écosse, s’est développé en réponse à la demande croissante d’assistants virtuels pouvant offrir une expérience cohérente et humanisée, a déclaré Gregor Hofer, PDG de Speech Graphics, dans une interview avec GamesBeat.

En interprétant les nuances émotionnelles des performances vocales pour piloter un modèle détaillé des systèmes musculaires impliqués dans la parole, les technologies Speech Graphics permettent aux producteurs de jeux vidéo d’économiser beaucoup de temps, d’argent et d’efforts tout en obtenant des résultats supérieurs. Et maintenant, l’entreprise s’étend également à d’autres marchés.

La croissance accélérée de l’entreprise a conduit l’organisation à élargir sa vision d’entreprise, en créant une nouvelle marque tournée vers l’entreprise — Rapport – avec son propre site Web distinct. La technologie Speech Graphics a derrière elle 20 ans de recherche en linguistique, biomécanique, psychologie, apprentissage automatique et infographie.

Rapport a embrassé l’évolution rapide du métavers, l’univers des mondes virtuels qui sont tous interconnectés, comme dans des romans comme Chute de neige et Prêt joueur un.

Capitale des Sables a mené la ronde, qui sera utilisée pour embaucher des employés supplémentaires, établir des partenariats et élargir les produits et services disponibles pour répondre à une gamme de besoins des entreprises, des ventes aux services, en passant par la vente au détail, les soins de santé, les banques et les voyages, pour n’en nommer que quelques industries .

Au cours de la dernière décennie, Speech Graphics a travaillé sur la technologie qui automatise les processus de livraison d’animations faciales de haute qualité.

Speech Graphics a été fondé sur l’idée d’apporter une animation faciale réaliste aux jeux vidéo en utilisant une technologie propriétaire, a déclaré Hofer. Maintenant, la société se lance sur le marché de l’IA et utilise la marque Rapport pour aller au-delà des jeux d’animation faciale audio », a déclaré Hofer.

« Sands Capital a investi dans Rapport parce que nous pensons qu’avec son approche révolutionnaire de l’IA, de l’animation faciale et des expériences profondément collaboratives, Rapport est sur le point d’accroître sa présence en utilisant son moteur Speech Graphics », a déclaré Michael Graninger, associé chez Sands Capital, dans un déclaration. « Nous suivons de près Speech Graphics et sommes convaincus que l’équipe possède le sens technique, l’expérience approfondie et le charisme nécessaires pour conduire l’expansion de Rapport vers un succès incroyable. »

Rapport a développé une plate-forme permettant aux clients de créer des interactions hautement personnelles avec des avatars numériques n’importe où – sur le Web, dans les moteurs de jeu ou dans les applications. La plate-forme donne accès à la technologie d’avatar en temps réel de Speech Graphics, ainsi qu’à une diffusion en continu à faible latence, à une animation en temps réel dans le navigateur sans plug-in requis et à une IA émotionnelle qui interprète la voix de l’utilisateur et répond en conséquence – tout cela intégré avec une infrastructure de plugin backend hautement évolutive qui connecte facilement une gamme croissante de technologies tierces, y compris l’IA conversationnelle, la reconnaissance vocale et la synthèse vocale.

Les fonctionnalités incluent la possibilité d’intégrer un avatar parlant dans n’importe quel site Web en utilisant seulement quelques lignes de JavaScript. Les développeurs peuvent accéder à l’IA, à la synthèse vocale et à la reconnaissance vocale automatique pour des marchés verticaux spécifiques. Et ils peuvent adapter la technologie à des millions d’utilisateurs en utilisant une technologie de rendu de navigateur propriétaire et des systèmes backend flexibles. Les développeurs peuvent également animer une quantité infinie d’avatars différents, des humains photoréels aux personnages stylisés et aux animaux anthropomorphes. L’entreprise compte environ 50 personnes.

Origines

Hofer a obtenu un doctorat en apprentissage automatique à l’Université d’Édimbourg et, avec son partenaire Michael Berger, il a fait sortir l’entreprise de l’université en tant que startup en 2011. Hofer a pu quitter son emploi de jour en 2012. L’entreprise a été lancée. .

« Nous avons développé une technologie qui analyse la parole et produit ensuite les expressions faciales correspondantes sur un personnage numérique », a déclaré Hofer. « Nous avons commencé essentiellement comme une société de services, où nous avons utilisé notre technologie en interne pour animer des personnages. »

La jeune entreprise a commencé à trouver des contacts grâce à des événements tels que Siggraph, l’événement de l’infographie. Le premier jeu à l’utiliser était le titre Terre du Milieu : L’Ombre du Mordor de Monolith, où les visages et les mouvements de la bouche des guerriers orcs correspondaient aux mots qu’ils prononçaient.

« Quand vous voyez les orcs se battre et qu’ils montrent ces animations, elles ont été réalisées à l’aide de notre logiciel », a déclaré Hofer.

Le dialogue et les animations des orcs ont changé, selon que vous les subjuguiez, les tuiez ou que vous aviez une conversation. La quantité de dialogue était énorme.

« Nous avons pu animer des milliers de lignes audio sans avoir à faire les animations à la main », a déclaré Hofer. « Dans le passé, vous deviez utiliser la capture de mouvement et créer chacun à la main. En utilisant un effort audio, vous pouvez faire beaucoup plus de dialogue dans un jeu. « 

Après le lancement de ce jeu en 2014, la société a attiré plus de clients qui souhaitaient à la fois haute qualité et fidélité, a déclaré Hofer.

« Nous avons commencé à travailler avec des développeurs de jeux et cela nous a donné plus de données et cela nous a permis de créer une version de notre technologie qui fonctionne en temps réel », a déclaré Hofer. « Il analyse essentiellement la parole à la volée, puis déplace la bouche et le visage en temps réel. Et il existe une version de notre logiciel qui s’exécute dans Sansar, si vous vous souvenez du monde virtuel.

Étendre à Rapport

Speech Graphics a levé son premier tour de financement en 2018 avec une augmentation de 3 millions de dollars. Avec les nouveaux fonds, l’entreprise pourrait ajouter 20 personnes supplémentaires.

Les revenus de l’industrie du jeu sont devenus le pain quotidien de Speech Graphics. Ensuite, l’entreprise a commencé à générer de l’intérêt en dehors des jeux, en particulier pour les applications de métaverse ou de site Web.

« Vous avez besoin d’un personnage, d’un système d’animation, d’un système de rendu et d’une connexion à quelque chose comme un chatbot », a-t-il déclaré. « Vous pouvez également vous connecter à quelque chose comme un système de voix sur protocole Internet. Il y a beaucoup de piles technologiques qui doivent être développées pour avoir une application réussie.

Ce système s’appelle Rapport. Au fil du temps, le défi est devenu plus difficile, avec un besoin de reconnaître l’émotion avec laquelle les mots sont prononcés. Par exemple, les animations pour les visages sont très différentes si quelqu’un crie, chuchote ou rit pendant qu’il parle.

« Avec Rapport, nous résolvons de nombreux problèmes », a déclaré Hofer. « Beaucoup d’entreprises viennent nous voir à propos du métaverse pour nous demander comment elles se représentent dans le métaverse ? Comment représentent-ils leurs marques ? Un personnage numérique a une manière très claire de le faire.