Quand Ravi Yekkanti enfile son casque pour aller travailler, il ne sait jamais ce que va apporter la journée passée en réalité virtuelle. Qui pourrait-il rencontrer ? Une voix d’enfant l’abordera-t-elle avec une remarque raciste ? Un dessin animé tentera-t-il de saisir ses parties génitales ? Il ajuste les lunettes extraterrestres qui entourent sa tête alors qu’il est assis au bureau de son bureau à Hyderabad, en Inde, et se prépare à s’immerger dans un « bureau » plein d’avatars animés. Le travail de Yekkanti, tel qu’il le voit, est de s’assurer que tout le monde dans le métaverse est en sécurité et passe un bon moment, et il en est fier.

Yekkanti est à la pointe d’un nouveau domaine, la modération de contenu VR et métaverse. La sécurité numérique dans le métaverse a connu un début quelque peu difficile, avec des rapports d’agressions sexuelles, d’intimidation et de toilettage d’enfants. Ce problème devient plus urgent avec l’annonce de Meta la semaine dernière selon laquelle il abaisse l’âge minimum pour sa plate-forme Horizon Worlds de 18 à 13 ans. L’annonce mentionne également une multitude de fonctionnalités et de règles destinées à protéger les jeunes utilisateurs. Cependant, quelqu’un doit faire appliquer ces règles et s’assurer que les gens ne contournent pas les mesures de protection.

Meta ne dira pas combien de modérateurs de contenu il emploie ou contracte dans Horizon Worlds, ni si l’entreprise a l’intention d’augmenter ce nombre avec la nouvelle politique d’âge. Mais le changement met en lumière les personnes chargées de l’application de la loi dans ces nouveaux espaces en ligne – des personnes comme Yekkanti – et la manière dont elles s’acquittent de leur travail.

Yekkanti travaille comme modérateur et responsable de la formation en réalité virtuelle depuis 2020 et est arrivé au travail après avoir fait un travail de modération traditionnel sur du texte et des images. Il est employé par WebPurify, une société qui fournit des services de modération de contenu à des sociétés Internet telles que Microsoft et Play Lab, et travaille avec une équipe basée en Inde. Son travail est principalement effectué sur des plates-formes grand public, y compris celles appartenant à Meta, bien que WebPurify ait refusé de confirmer lesquelles citant spécifiquement les accords de confidentialité des clients. La porte-parole de Meta, Kate McLaughlin, a déclaré que Meta Quest ne fonctionne pas directement avec WebPurify.

Passionné d’Internet de longue date, Yekkanti dit qu’il adore mettre un casque VR, rencontrer des gens du monde entier et donner des conseils aux créateurs de métavers sur la façon d’améliorer leurs jeux et leurs « mondes ».

Il fait partie d’une nouvelle classe de travailleurs protégeant la sécurité dans le métaverse en tant qu’agents de sécurité privés, interagissant avec les avatars de personnes très réelles pour détecter les mauvais comportements de la réalité virtuelle. Il ne divulgue pas publiquement son statut de modérateur. Au lieu de cela, il travaille plus ou moins sous couverture, se présentant comme un utilisateur moyen pour mieux témoigner des violations.

Parce que les outils de modération traditionnels, tels que les filtres activés par l’IA sur certains mots, ne se traduisent pas bien dans les environnements immersifs en temps réel, les mods comme Yekkanti sont le principal moyen d’assurer la sécurité dans le monde numérique, et le travail devient plus important chaque jour.

Le problème de sécurité du métaverse

Le problème de sécurité du métaverse est complexe et opaque. Des journalistes ont rapporté des cas de commentaires abusifs, arnaqueles agressions sexuelles et même un kidnapping orchestré par Meta Oculus. Les plus grandes plates-formes immersives, comme Roblox et Meta’s Horizon Worlds, gardent leurs statistiques sur les mauvais comportements très secrètes, mais Yekkanti dit qu’il rencontre chaque jour des transgressions à signaler.

Meta a refusé de commenter le dossier, mais a envoyé une liste des outils et des politiques qu’il a mis en place, et a noté qu’il avait formé des spécialistes de la sécurité au sein d’Horizon Worlds. Un porte-parole de Roblox a déclaré que la société avait « une équipe de milliers de modérateurs qui surveillent les contenus inappropriés 24 heures sur 24 et 7 jours sur 7 et enquêtent sur les rapports soumis par notre communauté » et utilisent également l’apprentissage automatique pour examiner le texte, les images et l’audio.

Pour faire face aux problèmes de sécurité, les entreprises technologiques se sont tournées vers des bénévoles et des employés comme les guides communautaires de Meta, des modérateurs infiltrés comme Yekkanti et, de plus en plus, des fonctionnalités de plate-forme qui permettent aux utilisateurs de gérer leur propre sécurité, comme une ligne de démarcation personnelle qui empêche les autres utilisateurs d’obtenir trop près.

« Les médias sociaux sont la pierre angulaire du métaverse, et nous devons traiter le métaverse comme une évolution – comme la prochaine étape des médias sociaux, pas totalement détachée de celui-ci », déclare Juan Londoño, analyste politique à l’Information Technology and Innovation Foundation, un groupe de réflexion à Washington, DC.

Mais étant donné la nature immersive du métaverse, de nombreux outils conçus pour traiter les milliards de mots et d’images potentiellement dangereux sur le Web bidimensionnel ne fonctionnent pas bien en réalité virtuelle. Les modérateurs de contenu humains s’avèrent être parmi les solutions les plus essentielles.

Toilettageoù des adultes aux intentions prédatrices tentent de nouer des relations de confiance avec des mineurs, est aussi un véritable défi. Lorsque les entreprises ne filtrent pas et n’empêchent pas ces abus de manière proactive, les utilisateurs sont chargés de signaler et de détecter les mauvais comportements.

« Si une entreprise compte sur les utilisateurs pour signaler des événements potentiellement traumatisants qui leur sont arrivés ou des situations potentiellement dangereuses, il semble presque trop tard », déclare Delara Derakhshani, avocate spécialisée dans la protection de la vie privée qui a travaillé chez Meta’s Reality Labs jusqu’en octobre 2022. ne devrait pas incomber aux enfants d’avoir à le signaler au moment où un traumatisme ou un dommage potentiel est fait.

La première ligne de la modération de contenu

La nature immersive du métaverse signifie que le comportement qui enfreint les règles est littéralement multidimensionnel et doit généralement être détecté en temps réel. Seule une fraction des problèmes est signalée par les utilisateurs, et tout ce qui se passe dans l’environnement en temps réel n’est pas capturé et enregistré. Meta dit qu’il capture les interactions sur une base continue, par exemple, selon un porte-parole de l’entreprise.

WebPurify, qui se concentrait auparavant sur la modération de textes et d’images en ligne, propose des services aux entreprises métaverses depuis le début de l’année dernière et a récemment recruté l’ancien responsable des opérations de confiance et de sécurité de Twitter, Alex Popken, pour aider à diriger l’effort.

« Nous cherchons à contrôler la réalité virtuelle et la réalité augmentée, ce qui est en quelque sorte un nouveau territoire car vous examinez vraiment le comportement humain », déclare Popken.

Les employés de WebPurify sont en première ligne dans ces nouveaux espaces, et les commentaires raciaux et sexuels sont monnaie courante. Yekkanti dit qu’une modératrice de son équipe a interagi avec une utilisatrice qui a compris qu’elle était indienne et lui a proposé de l’épouser en échange d’une vache.

D’autres incidents sont plus graves. Une autre modératrice de l’équipe de Yekkanti a rencontré une utilisatrice qui a fait des remarques hautement sexualisées et offensantes sur son vagin. Une fois, un utilisateur s’est approché d’un modérateur et a apparemment saisi sa région génitale. (L’utilisateur a affirmé qu’il allait faire un high five.)

Les modérateurs apprennent les politiques de sécurité détaillées de l’entreprise qui décrivent comment détecter et signaler les transgressions. Un jeu sur lequel Yekkanti travaille a une politique qui spécifie les catégories de personnes protégées, telles que définies par des caractéristiques telles que la race, l’origine ethnique, le sexe, l’affiliation politique, la religion, l’orientation sexuelle et le statut de réfugié. Yekkanti dit que « toute forme de commentaire négatif envers ce groupe protégé serait considérée comme haineuse ». Les modérateurs sont formés pour répondre proportionnellement, en utilisant leur propre jugement. Cela peut signifier désactiver les utilisateurs qui enfreignent les politiques, les supprimer d’un jeu ou les signaler à l’entreprise.

WebPurify offre à ses modérateurs un accès 24h/24 et 7j/7 à des conseils en santé mentale, entre autres ressources.

Les modérateurs doivent faire face à des défis de sécurité nuancés, et il peut falloir beaucoup de jugement et d’intelligence émotionnelle pour déterminer si quelque chose est approprié. Les attentes concernant l’espace interpersonnel et les salutations physiques, par exemple, varient selon les cultures et les utilisateurs, et différents espaces dans le métaverse ont des directives communautaires différentes.

Tout cela se passe sous couverture, afin que les utilisateurs ne changent pas leur comportement car ils savent qu’ils interagissent avec un modérateur. « Attraper des méchants est plus gratifiant que bouleversant », déclare Yekkanti.

La modération signifie également défier les attentes en matière de confidentialité des utilisateurs.

Un élément clé du travail consiste à « tout suivre », explique Yekkanti. Les modérateurs enregistrent tout ce qui se passe dans le jeu depuis leur arrivée jusqu’à leur départ, y compris les conversations entre les joueurs. Cela signifie qu’ils écoutent souvent les conversations, même lorsque les joueurs ne savent pas qu’ils sont surveillés, bien qu’il indique qu’il n’écoute pas les conversations en tête-à-tête entièrement privées.

« Si nous voulons que les plates-formes aient un rôle super pratique avec la sécurité des utilisateurs, cela pourrait entraîner des transgressions de la vie privée avec lesquelles les utilisateurs pourraient ne pas être à l’aise », déclare Londoño.

Pendant ce temps, certains membres du gouvernement ont exprimé leur scepticisme à l’égard des politiques de Meta. Les sénateurs démocrates Ed Markey du Massachusetts et Richard Blumenthal du Connecticut a écrit une lettre publique à Mark Zuckerberg lui demandant de reconsidérer la décision d’abaisser les restrictions d’âge et dénonçant « des lacunes dans la compréhension de l’entreprise de la sécurité des utilisateurs ».

Derakhshani, l’ancien avocat de Meta, dit que nous avons besoin de plus de transparence sur la façon dont les entreprises abordent la sécurité dans le métaverse.

« Cette décision d’attirer un public plus jeune est-elle destinée à permettre aux jeunes adolescents de vivre les meilleures expériences ? Est-ce pour attirer de nouveaux publics au fur et à mesure que les plus âgés vieillissent ? Une chose est sûre, cependant : quel que soit le raisonnement, le public et les régulateurs ont vraiment besoin de l’assurance que ces entreprises sont préparées et ont réfléchi très attentivement », dit-elle. « Je ne suis pas sûr que nous soyons tout à fait là. »

Pendant ce temps, Yekkanti dit qu’il veut que les gens comprennent que son travail, même s’il peut être très amusant, est vraiment important. « Nous essayons de créer, en tant que modérateurs, une meilleure expérience pour tout le monde afin qu’ils n’aient pas à subir de traumatisme », dit-il. «Nous, en tant que modérateurs, sommes prêts à le prendre et sommes là pour protéger les autres. Nous pouvons être la première ligne de défense.

Mise à jour : cette histoire a été mise à jour avec des informations supplémentaires de Meta et pour clarifier les capacités de surveillance de WebPurify.