Les employés de Facebook ont ​​averti pendant des années qu’alors que l’entreprise se précipitait pour devenir un service mondial, elle ne parvenait pas à contrôler les contenus abusifs dans les pays où un tel discours était susceptible de causer le plus de tort, selon des entretiens avec cinq anciens employés et des documents internes de l’entreprise consultés par Reuters. .

Depuis plus d’une décennie, Facebook a poussé pour devenir la plate-forme en ligne dominante au monde. Il opère actuellement dans plus de 190 pays et compte plus de 2,8 milliards d’utilisateurs mensuels qui publient du contenu dans plus de 160 langues. Mais ses efforts pour empêcher que ses produits ne deviennent des vecteurs de discours haineux, de rhétorique incendiaire et de désinformation – dont certains ont été blâmés pour incitation à la violence – n’ont pas suivi le rythme de son expansion mondiale.

Les documents internes de l’entreprise consultés par Reuters montrent que Facebook savait qu’il n’avait pas embauché suffisamment de travailleurs possédant à la fois les compétences linguistiques et la connaissance des événements locaux nécessaires pour identifier les messages répréhensibles d’utilisateurs dans un certain nombre de pays en développement. Les documents ont également montré que les systèmes d’intelligence artificielle que Facebook utilise pour déraciner de tels contenus ne sont pas non plus à la hauteur de la tâche ; et que la société n’a pas facilité la tâche de ses utilisateurs mondiaux eux-mêmes pour signaler les publications qui enfreignent les règles du site.

Ces lacunes, ont averti les employés dans les documents, pourraient limiter la capacité de l’entreprise à tenir sa promesse de bloquer les discours de haine et d’autres messages enfreignant les règles dans des endroits allant de l’Afghanistan au Yémen.

Dans une critique publiée l’année dernière sur le babillard interne de Facebook concernant la manière dont l’entreprise identifie les abus sur son site, un employé a signalé des « lacunes importantes » dans certains pays à risque de violence dans le monde réel, en particulier le Myanmar et l’Éthiopie.

Les documents font partie d’une cache de divulgations faites à la Securities and Exchange Commission et au Congrès des États-Unis par le dénonciateur de Facebook Françoise Haugen, un ancien chef de produit Facebook qui a quitté l’entreprise en mai. Reuters faisait partie d’un groupe d’agences de presse capables de visualiser les documents, qui incluent des présentations, des rapports et des messages partagés sur le babillard interne de l’entreprise. Leur existence a été signalée pour la première fois par le Wall Street Journal.

Le porte-parole de Facebook, Mavis Jones, a déclaré dans un communiqué que la société comptait des locuteurs natifs dans le monde entier qui révisaient du contenu dans plus de 70 langues, ainsi que des experts en questions humanitaires et de droits humains. Elle a déclaré que ces équipes s’efforçaient de mettre fin aux abus sur la plate-forme Facebook dans les endroits où il existe un risque accru de conflit et de violence.

« Nous savons que ces défis sont réels et nous sommes fiers du travail que nous avons accompli à ce jour », a déclaré Jones.

Pourtant, le cache des documents internes de Facebook offre des instantanés détaillés de la façon dont les employés ont sonné l’alarme ces dernières années sur les problèmes avec les outils de l’entreprise – à la fois humains et technologiques – visant à déraciner ou à bloquer les discours qui enfreignent ses propres normes. Le matériel s’étend sur les précédents rapports de Reuters sur le Myanmar et d’autres pays, où le plus grand réseau social du monde a échoué à plusieurs reprises à protéger les utilisateurs contre les problèmes sur sa propre plate-forme et a eu du mal à surveiller le contenu dans toutes les langues.

Parmi les faiblesses citées figurait le manque d’algorithmes de filtrage des langues utilisées dans certains des pays que Facebook a jugés les plus « à risque » de dommages et de violence potentiels dans le monde réel résultant d’abus sur son site.

La société désigne les pays « à risque » en fonction de variables telles que les troubles, la violence ethnique, le nombre d’utilisateurs et les lois en vigueur, ont déclaré à Reuters deux anciens membres du personnel. Le système vise à orienter les ressources vers les endroits où les abus sur son site pourraient avoir l’impact le plus grave, ont déclaré les gens.

Facebook examine et hiérarchise ces pays tous les six mois conformément aux directives des Nations Unies visant à aider les entreprises à prévenir et à remédier aux violations des droits humains dans leurs activités commerciales, a déclaré le porte-parole Jones.

En 2018, des experts des Nations Unies enquêtant sur une campagne brutale de meurtres et d’expulsions contre la minorité musulmane Rohingya du Myanmar ont déclaré que Facebook était largement utilisé pour diffuser des discours de haine à leur encontre. Cela a incité l’entreprise à augmenter ses effectifs dans les pays vulnérables, a déclaré à Reuters un ancien employé. Facebook a déclaré qu’il aurait dû faire plus pour empêcher que la plate-forme ne soit utilisée pour inciter à la violence hors ligne dans le pays.

Ashraf Zeitoon, ancien responsable de la politique de Facebook pour le Moyen-Orient et l’Afrique du Nord, qui est parti en 2017, a déclaré que l’approche de l’entreprise en matière de croissance mondiale était « coloniale », axée sur la monétisation sans mesures de sécurité.

Plus de 90 pour cent des utilisateurs actifs mensuels de Facebook se trouvent en dehors des États-Unis ou du Canada.

Problèmes de langue

Facebook a longtemps vanté l’importance de ses systèmes d’intelligence artificielle (IA), en combinaison avec l’examen humain, comme moyen de lutter contre le contenu répréhensible et dangereux sur ses plateformes. Les systèmes d’apprentissage automatique peuvent détecter un tel contenu avec différents niveaux de précision.

Mais les langues parlées en dehors des États-Unis, du Canada et de l’Europe ont été une pierre d’achoppement pour la modération automatisée du contenu de Facebook, comme le montrent les documents fournis au gouvernement par Haugen. L’entreprise manque de systèmes d’IA pour détecter les messages abusifs dans un certain nombre de langues utilisées sur sa plate-forme. En 2020, par exemple, l’entreprise ne disposait pas d’algorithmes de filtrage connus sous le nom de « classificateurs » pour trouver de la désinformation en birman, la langue du Myanmar, ou des discours de haine dans les langues éthiopiennes oromo ou amharique, selon un document.

Ces lacunes peuvent permettre aux publications abusives de proliférer dans les pays où Facebook lui-même a déterminé que le risque de préjudice réel est élevé.

Reuters a trouvé ce mois-ci des messages en amharique, l’une des langues les plus répandues en Éthiopie, faisant référence à différents groupes ethniques comme des ennemis et leur lançant des menaces de mort. Un conflit de près d’un an dans le pays entre le gouvernement éthiopien et les forces rebelles de la région du Tigré a tué des milliers de personnes et déplacé plus de 2 millions de personnes.

Le porte-parole de Facebook, Jones, a déclaré que la société disposait désormais d’une technologie de détection proactive pour détecter les discours de haine en oromo et en amharique et avait embauché davantage de personnes ayant « une expertise en matière de langue, de pays et de sujet », y compris des personnes qui ont travaillé au Myanmar et en Éthiopie.

Dans un document non daté, qui, selon une personne familière avec les divulgations, date de 2021, les employés de Facebook ont ​​également partagé des exemples de « récits alarmistes et anti-musulmans » diffusés sur le site en Inde, y compris des appels à évincer l’importante population musulmane minoritaire. . « Notre manque de classificateurs en hindi et en bengali signifie qu’une grande partie de ce contenu n’est jamais signalée ou traitée », indique le document. Les publications internes et les commentaires des employés cette année ont également noté le manque de classificateurs en ourdou et en pachto pour filtrer le contenu problématique publié par les utilisateurs au Pakistan, en Iran et en Afghanistan.

Jones a déclaré que Facebook avait ajouté des classificateurs de discours de haine pour l’hindi en 2018 et le bengali en 2020, et des classificateurs pour la violence et l’incitation en hindi et en bengali cette année. Elle a dit que Facebook a également maintenant des classificateurs de discours de haine en ourdou mais pas en pachto.

L’examen humain des publications par Facebook, qui est crucial pour les problèmes nuancés comme le discours de haine, présente également des lacunes dans les langues clés, selon les documents. Un document non daté expliquait comment son opération de modération de contenu luttait avec les dialectes de langue arabe de plusieurs pays « à risque », le laissant constamment « en train de rattraper son retard ». Le document reconnaissait que, même au sein de ses critiques arabophones, « les yéménites, les libyens, les saoudiens (vraiment tous les pays du Golfe) sont soit absents, soit très peu représentés ».

Jones de Facebook a reconnu que la modération de contenu en langue arabe « présente un énorme ensemble de défis ». Elle a déclaré que Facebook avait investi dans le personnel au cours des deux dernières années, mais reconnaît que « nous avons encore du travail à faire ».

Trois anciens employés de Facebook qui ont travaillé pour les bureaux de l’entreprise en Asie-Pacifique et au Moyen-Orient et en Afrique du Nord au cours des cinq dernières années ont déclaré à Reuters qu’ils pensaient que la modération du contenu dans leurs régions n’avait pas été une priorité pour la gestion de Facebook. Ces personnes ont déclaré que les dirigeants ne comprenaient pas les problèmes et n’avaient pas consacré suffisamment de personnel et de ressources.

Jones de Facebook a déclaré que la société californienne réprimait les abus commis par des utilisateurs en dehors des États-Unis avec la même intensité appliquée au niveau national.

La société a déclaré qu’elle utilisait l’IA de manière proactive pour identifier les discours de haine dans plus de 50 langues. Facebook a déclaré qu’il fondait ses décisions sur l’endroit où déployer l’IA sur la taille du marché et une évaluation des risques du pays. Il a refusé de dire dans combien de pays il ne disposait pas de classificateurs de discours de haine fonctionnels.

Facebook indique également qu’il dispose de 15 000 modérateurs de contenu examinant le matériel de ses utilisateurs mondiaux. « L’ajout de plus d’expertise linguistique a été un objectif clé pour nous », a déclaré Jones.

Au cours des deux dernières années, elle a embauché des personnes capables de réviser le contenu en amharique, oromo, tigrinya, somali et birman, a indiqué la société, et cette année, elle a ajouté des modérateurs dans 12 nouvelles langues, dont le créole haïtien.

Facebook a refusé de dire s’il exige un nombre minimum de modérateurs de contenu pour n’importe quelle langue proposée sur la plate-forme.

Perdu dans la traduction

Les utilisateurs de Facebook sont une ressource puissante pour identifier le contenu qui enfreint les normes de l’entreprise. L’entreprise a construit un système pour qu’ils le fassent, mais a reconnu que le processus peut être long et coûteux pour les utilisateurs dans les pays sans accès Internet fiable. L’outil de rapport a également eu des bogues, des défauts de conception et des problèmes d’accessibilité pour certaines langues, selon les documents et les militants des droits numériques qui ont parlé avec Reuters.

Next Billion Network, un groupe de groupes de la société civile technologique travaillant principalement en Asie, au Moyen-Orient et en Afrique, a déclaré ces dernières années avoir signalé à plusieurs reprises des problèmes avec le système de signalement à la direction de Facebook. Ceux-ci comprenaient un défaut technique qui empêchait le système d’examen du contenu de Facebook de voir le texte répréhensible accompagnant les vidéos et les photos dans certains messages signalés par les utilisateurs. Ce problème a empêché que des violations graves, telles que des menaces de mort dans le texte de ces messages, soient correctement évaluées, ont déclaré à Reuters le groupe et un ancien employé de Facebook. Ils ont dit que le problème avait été résolu en 2020.

Facebook a déclaré qu’il continue de travailler pour améliorer ses systèmes de signalement et prend les commentaires au sérieux.

La couverture linguistique reste un problème. Une présentation Facebook de janvier, incluse dans les documents, a conclu « qu’il existe une énorme lacune dans le processus de signalement des discours de haine dans les langues locales » pour les utilisateurs en Afghanistan. Le retrait récent des troupes américaines là-bas après deux décennies a déclenché une lutte de pouvoir interne dans le pays. Les soi-disant « normes communautaires » – les règles qui régissent ce que les utilisateurs peuvent publier – ne sont pas non plus disponibles dans les principales langues afghanes, le pashto et le dari, a déclaré l’auteur de la présentation.

Un examen de Reuters ce mois-ci a révélé que les normes communautaires n’étaient pas disponibles dans environ la moitié des plus de 110 langues prises en charge par Facebook avec des fonctionnalités telles que les menus et les invites.

Facebook a déclaré qu’il visait à ce que ces règles soient disponibles dans 59 langues d’ici la fin de l’année, et dans 20 autres langues d’ici la fin de 2022.

© Thomson Reuters 2021