Créer un agent d’apprentissage automatique pour faciliter les interactions entre les participants dans des environnements de réalité virtuelle et augmentée, tels que le métaverse, afin de les aider à atteindre leurs objectifs et à résoudre les situations conflictuelles. C’est l’objectif principal de InvitéXRle projet européen sous la coordination du professeur Mel Slater, du Faculté de Phycologie et l’Institut des Neurosciences de l’Université de Barcelone – UB – (UBNeuro).
Dans le cadre du projet GuestXR (A Machine Learning Agent for Social Harmony in eXtended Reality), coordonné par le centre technologique Eurecat, un système d’apprentissage automatique appelé guest sera conçu, et il fonctionnera comme un agent capable d’examiner l’individu et le groupe comportement des participants en s’appuyant sur des modèles existants du point de vue des neurosciences et de la psychologie sociale. De plus, Deep Reinforcement Learning entraînera l’invité à apprendre au fil du temps – à la fois dans les simulations et les réunions réelles – et il sera plus efficace dans l’interaction sociale, informe UB dans un communiqué de presse.
L’agent engagera la conversation
Dans ces lignes, l’agent « participera à la conversation de différentes manières, réalisant une gamme d’actions multisensorielles à travers la musique ou des changements d’espace, entre autres », note le directeur d’Eurecat Audiovisual Technologies, Adan Garriga.
« Chaque réunion en réalité virtuelle et augmentée a un but, qu’il soit explicite (par exemple, parvenir à un accord sur un sujet) ou implicite (comme le plaisir). L’idée de base de l’invité est d’aider le groupe de personnes à atteindre cet objectif. Cela implique une recherche passionnante avec un fort élément interdisciplinaire, qui ouvre de nouvelles voies et, espérons-le, contribue au succès de la réalité virtuelle et augmentée », note le professeur Mel Slater.
Afin de moduler cette interaction sociale, l’invité réalisera une série d’actions multisensorielles, « à travers, par exemple, des caractéristiques visuelles et auditives pour créer des états d’esprit spécifiques et stimuler un environnement détendu lorsqu’il identifie un conflit », souligne le chercheur Umut Dire, d’Eurecat Audiovisual Technologies.
Offrir une solution au harcèlement en ligne
Ce projet « est conçu pour aider à proposer des solutions aux défis existants dans les environnements d’interaction sociale en ligne tels que le harcèlement en ligne, pour lesquels il n’existe pas de législation européenne spécifique », explique la coordinatrice du projet Eurecat GuestXR, Aurora Sesé.
L’intervention du système d’apprentissage automatique sera testée dans un premier temps dans des situations de résolution de conflits, des interactions avec des participants malentendants et des contextes qui conduisent à des débats polarisés comme le changement climatique.
Deux appels ouverts pour inclure d’autres cas d’utilisation innovants afin de tester l’efficacité du système sont attendus. L’un s’adressera à la société en général — y compris les entreprises et les associations, entre autres — tandis que l’autre s’adressera au domaine des arts.
Approche éthique
La technologie GuestXR sera réalisée dans le cadre de l’approche Ethics by design, qui consiste à considérer les problèmes éthiques potentiels découlant de l’utilisation de l’intelligence artificielle (respect de l’autonomie humaine, prévention des dommages, équité, etc.).
Le consortium GuestXR, coordonné par l’UB et le centre technologique Eurecat, est formé de huit organisations de six pays avec des équipes multidisciplinaires du domaine de la réalité élargie, de l’apprentissage automatique, de l’intelligence artificielle, de la psychologie sociale, des neurosciences des émotions, de l’intégration multisensorielle, de l’éthique de la recherche et du transfert de technologie. Parmi les collaborateurs figurent l’Université de Maastricht (Pays-Bas), l’Université de Varsovie (Pologne), l’Université de Reichman (Israël), l’Institut national de recherche en sciences et technologies du numérique (INRIA, France) et les sociétés Virtual Bodyworks et G.tec medical engineering GMBH.
