Les ingénieurs informaticiens de l’Université Duke ont développé des yeux virtuels qui simulent la façon dont les humains regardent le monde avec suffisamment de précision pour que les entreprises puissent former des programmes de réalité virtuelle et de réalité augmentée. Appelé EyeSyn en abrégé, le programme aidera les développeurs à créer des applications pour le métaverse en expansion rapide tout en protégeant les données des utilisateurs.

Les résultats ont été acceptés et seront présentés lors de la Conférence internationale sur le traitement de l’information dans les réseaux de capteurs (IPSN), du 4 au 6 mai 2022, un forum annuel de premier plan sur la recherche en détection et contrôle en réseau.

« Si vous souhaitez détecter si une personne lit une bande dessinée ou de la littérature avancée en ne regardant que ses yeux, vous pouvez le faire », a déclaré Maria Gorlatova, professeure adjointe de Nortel Networks en génie électrique et informatique chez Duke.

« Mais la formation de ce type d’algorithme nécessite des données provenant de centaines de personnes portant des casques pendant des heures à la fois », a ajouté Gorlatova. « Nous voulions développer un logiciel qui non seulement réduise les problèmes de confidentialité liés à la collecte de ce type de données, mais permet également aux petites entreprises qui ne disposent pas de ces niveaux de ressources d’entrer dans le jeu du métaverse. »

La perspicacité poétique décrivant les yeux comme les fenêtres de l’âme a été répétée depuis au moins les temps bibliques pour une bonne raison : les petits mouvements de la façon dont nos yeux bougent et nos pupilles se dilatent fournissent une quantité surprenante d’informations. Les yeux humains peuvent révéler si nous nous ennuyons ou sommes excités, où la concentration est concentrée, si nous sommes experts ou novices dans une tâche donnée, ou même si nous parlons couramment une langue spécifique.

« L’endroit où vous accordez la priorité à votre vision en dit également beaucoup sur vous en tant que personne », a déclaré Gorlatova. « Cela peut révéler par inadvertance des préjugés sexuels et raciaux, des intérêts que nous ne voulons pas que les autres connaissent et des informations que nous ne connaissons peut-être même pas sur nous-mêmes. »

Les données sur les mouvements oculaires sont inestimables pour les entreprises qui créent des plates-formes et des logiciels dans le métaverse. Par exemple, lire les yeux d’un utilisateur permet aux développeurs d’adapter le contenu aux réponses d’engagement ou de réduire la résolution de leur vision périphérique pour économiser la puissance de calcul.

Avec ce large éventail de complexité, créer des yeux virtuels qui imitent la façon dont un humain moyen réagit à une grande variété de stimuli ressemble à une tâche de taille. Pour gravir la montagne, Gorlatova et son équipe, dont l’ancienne associée postdoctorale Guohao Lan, qui est maintenant professeure adjointe à l’Université de technologie de Delft aux Pays-Bas, et actuellement titulaire d’un doctorat. Tim Scargill, étudiant, a plongé dans la littérature sur les sciences cognitives qui explore la façon dont les humains voient le monde et traitent les informations visuelles.

Par exemple, lorsqu’une personne regarde quelqu’un parler, ses yeux alternent entre les yeux, le nez et la bouche de la personne pendant des durées variables. Lors du développement d’EyeSyn, les chercheurs ont créé un modèle qui extrait l’emplacement de ces caractéristiques sur un haut-parleur et a programmé leurs yeux virtuels pour émuler statistiquement le temps passé à se concentrer sur chaque région.

« Si vous donnez à EyeSyn de nombreuses entrées différentes et que vous l’exécutez suffisamment de fois, vous créerez un ensemble de données de mouvements oculaires synthétiques suffisamment volumineux pour former un classificateur (d’apprentissage automatique) pour un nouveau programme », a déclaré Gorlatova.

Pour tester la précision de leurs yeux synthétiques, les chercheurs se sont tournés vers des données accessibles au public. Ils ont d’abord eu les yeux « regarder » des vidéos du Dr Anthony Fauci s’adressant aux médias lors de conférences de presse et les ont comparées aux données des mouvements oculaires des téléspectateurs réels. Ils ont également comparé un ensemble de données virtuel de leurs yeux synthétiques regardant l’art avec des ensembles de données réels collectés auprès de personnes parcourant un musée d’art virtuel. Les résultats ont montré qu’EyeSyn était capable de faire correspondre étroitement les modèles distincts de signaux de regard réels et de simuler les différentes façons dont les yeux de différentes personnes réagissent.

Selon Gorlatova, ce niveau de performance est suffisamment bon pour que les entreprises l’utilisent comme référence pour former de nouvelles plates-formes et logiciels de métaverse. Avec un niveau de compétence de base, un logiciel commercial peut alors obtenir des résultats encore meilleurs en personnalisant ses algorithmes après avoir interagi avec des utilisateurs spécifiques.

« Les données synthétiques seules ne sont pas parfaites, mais c’est un bon point de départ », a déclaré Gorlatova. « Les petites entreprises peuvent l’utiliser plutôt que de consacrer du temps et de l’argent à essayer de créer leurs propres ensembles de données du monde réel (avec des sujets humains). Et comme la personnalisation des algorithmes peut être effectuée sur des systèmes locaux, les gens n’ont pas à s’inquiéter que leurs données privées sur les mouvements des yeux fassent partie d’une grande base de données. »