Avec sa nouvelle marque Meta très médiatisée, Facebook et son PDG Mark Zuckerberg ont clairement indiqué que l’entreprise mettait tout en œuvre pour sa vision des espaces sociaux virtuels. Ce n’est pas la première fois qu’un magnat de la technologie déclare avec confiance cette renaissance de la réalité virtuelle, où les gens habiteront soi-disant des avatars en ligne et dépenseront de l’argent réel en mobilier numérique.

Mais cette fois-ci, les progrès de l’apprentissage automatique promettent de donner aux entreprises technologiques accès à des catégories entières de données extrêmement intimes, y compris la biométrie comme les mouvements oculaires qui peuvent potentiellement révéler des détails très sensibles sur nos préférences et notre état d’esprit.

Dans un nouveau papier, des chercheurs de l’Université Duke décrivent un système appelé EyeSyn qui rend l’analyse des mouvements oculaires d’une personne plus facile que jamais. Au lieu de collecter d’énormes quantités de données directement à partir d’yeux humains, les chercheurs ont formé un ensemble d ‘«yeux virtuels» qui imitent les mouvements oculaires réels. Le système reçoit des modèles de modèles de mouvements oculaires typiques, tels que lire un texte, regarder une vidéo ou parler à une autre personne, puis apprend à faire correspondre et à reconnaître ces modèles chez les humains réels.

En d’autres termes, le système utilise des exemples de données pour deviner ce qu’une personne fait ou regarde en se basant entièrement sur ses mouvements oculaires.

Selon les chercheurs, ce processus supprime certains des problèmes de confidentialité associés à la capture de grandes quantités de données biométriques pour les algorithmes de formation. Au lieu d’utiliser d’énormes ensembles de données basés sur le cloud remplis de mouvements oculaires humains, le système EyeSyn est formé pour reconnaître les modèles oculaires à partir des modèles de modèles chargés sur un appareil local. Cela rend également le système moins gourmand en ressources, de sorte que les petits développeurs peuvent restituer des environnements virtuels sans énorme puissance de calcul.

Mais les chercheurs admettent également que le suivi oculaire peut être utilisé pour créer des systèmes prédictifs qui déterminent ce qui attire l’attention d’une personne et potentiellement, déduire des détails profondément privés qu’ils n’ont jamais eu l’intention de révéler.

« L’endroit où vous priorisez votre vision en dit long sur vous en tant que personne », a écrit Maria Gorlatova, l’une des auteures de l’étude, dans un déclaration publié par l’Université Duke. « Cela peut révéler par inadvertance des préjugés sexuels et raciaux, des intérêts que nous ne voulons pas que les autres connaissent et des informations que nous ne connaissons peut-être même pas sur nous-mêmes. »

UNE étude précédente à partir de 2019 va plus loin, concluant que le suivi du regard d’une personne « peut implicitement contenir des informations sur l’identité biométrique, le sexe, l’âge, l’origine ethnique, le poids corporel, les traits de personnalité, les habitudes de consommation de drogue, l’état émotionnel, les compétences et les capacités, les peurs, les intérêts et préférences sexuelles.

Dans d’autres types de systèmes algorithmiques comme reconnaissance des émotionsde nombreux experts en machine learning sont extrêmement sceptique quant à l’exactitude de ces prédictions. Mais cela n’empêchera probablement pas les entreprises technologiques de les déployer de toute façon, en particulier des plateformes comme Facebook, qui gagnent de l’argent en surveillant et en prédisant le comportement des utilisateurs afin de leur montrer des publicités.

« En ce qui concerne Facebook/Meta, ils ont depuis longtemps épuisé l’hypothèse d’opérations de bonne foi, en particulier en ce qui concerne la confidentialité », a déclaré à Motherboard le Dr Chris Gilliard, professeur au Macomb Community College qui étudie la discrimination algorithmique. « Quand je pense à la poussée de Meta pour faire du » métaverse « un endroit où les gens vivent, travaillent et jouent, il y a de nombreuses façons néfastes et franchement discriminatoires que cela est susceptible de se produire. »

Les chercheurs derrière EyeSyn ne travaillent pas avec Facebook et disent qu’ils espèrent ouvrir la technologie aux petites entreprises entrant sur le marché de la réalité virtuelle. S’adressant à Motherboard, Gorlatova a noté que le suivi oculaire est distinct des autres technologies qui prédisent les émotions en observant l’ensemble du visage ; certaines de ses utilisations les plus anciennes ont été dans les tests de produits, études psychologiques, et applications médicales, par exemple. Mais plus récemment, les entreprises technologiques ont manifesté un intérêt renouvelé pour le développement de la technologie pour essayer de mesurer des choses comme l’activité cognitive en observant des facteurs comme les mouvements oculaires, le clignement des yeux et la dilatation des pupilles.

Après avoir acheté la société de réalité virtuelle Oculus en 2014, Facebook a déclaré qu’il n’avait aucun plan utiliser les données biométriques et des capteurs de mouvement pour modifier le comportement des utilisateurs ou vendre des publicités. Mais plus récemment, la société mère de Facebook Meta a obtenu plusieurs brevets lié au suivi oculaire et aux capteurs biométriques, et semble déterminé à utiliser ces types de mesures pour renforcer sa plate-forme publicitaire dans le métaverse.

Gorlatova souligne que la confidentialité doit être intégrée aux technologies de suivi oculaire dès le départ. Plus précisément, elle affirme que les données sur les mouvements oculaires devraient être traitées localement sur les appareils grand public, afin que les informations biométriques sensibles ne parviennent jamais entre les mains de Facebook ou d’un autre tiers.

« Il existe de nombreuses techniques prometteuses dans cet espace général qui entraînent les classificateurs localement, sans envoyer de données privées au cloud… ou ajoutent du bruit aux données avant de les transmettre au cloud afin qu’elles ne révèlent pas d’informations sensibles sur un utilisateur spécifique », a déclaré Gorlatova. Carte mère dans un e-mail. « Je pense personnellement que l’informatique de pointe est la clé pour réaliser de nombreuses applications de nouvelle génération, y compris la réalité augmentée en particulier. »