Au cours d’une étude à la mi-2019, une équipe d’employés de Facebook a constaté que les règles proposées pour le système de suppression automatisée de compte d’Instagram marquaient et interdisaient de manière disproportionnée les utilisateurs noirs. Lorsque l’équipe a contacté le PDG Mark Zuckerberg et son échelon supérieur de copains avec ces informations alarmantes, ils ont été prétendument ignorés et ont été invités à interrompre toute recherche supplémentaire concernant les préjugés raciaux dans les outils de modération de l’entreprise, NBC News a rapporté jeudi.
C’est selon huit employés actuels et anciens de Facebook qui se sont entretenus avec le média sous couvert d’anonymat. En vertu de ces règles proposées, les utilisateurs noirs d’Instagram étaient environ 50% plus susceptibles que les utilisateurs blancs de voir leurs comptes automatiquement désactivés pour des infractions à la ToS telles que la publication de discours de haine et d’intimidation.
d’une tentative de Facebook, qui possède Instagram, de garder ses systèmes de modération automatisés neutres en créant l’équivalent algorithmique de «Vous savez, je ne vois pas vraiment couleur. »
La politique de la société en matière de discours de haine contient des remarques désobligeantes contre les groupes privilégiés (p. ex. personnes et hommes) au même examen que les remarques désobligeantes contre les groupes marginalisés (c’est-à-dire les Noirs et les femmes). Dans la pratique, cela signifiait que les outils proactifs de modération de contenu de l’entreprise détectaient les discours de haine dirigés contre les Blancs à un taux beaucoup plus élevé que les discours de haine dirigés contre les Noirs, en grande partie parce qu’ils signalaient des commentaires largement considérés comme anodins. Par exemple, l’expression « les blancs sont des ordures » n’est pas aussi offensante que l’expression « les noirs sont des ordures » – et si vous n’êtes pas d’accord, je déteste être celle qui vous le dira, mais vous pourriez être raciste
«Le monde traite les Noirs différemment des Blancs», a déclaré un employé à NBC. «Si nous traitons tout le monde de la même manière, nous faisons déjà des choix du mauvais côté de l’histoire.»
Un autre employé qui a publié des articles sur la recherche sur un forum interne a déclaré les résultats a indiqué que les outils automatisés de Facebook «défendent de manière disproportionnée les hommes blancs». Selon le point de vente:
Selon un graphique publié en interne en juillet 2019 et divulgué à NBC News, Facebook a supprimé de manière proactive un proportion de discours de haine contre les Blancs par rapport à celle rapportée par les utilisateurs, ce qui indique que les utilisateurs ne l’ont pas trouvé suffisamment offensant pour le signaler, mais que Facebook l’a quand même supprimé. En revanche, les mêmes outils ont réduit la proportion de discours de haine ciblant des groupes marginalisés, y compris les utilisateurs noirs, juifs et transgenres, plus faible que celle rapportée par les utilisateurs, indiquant que ces attaques étaient considérées comme offensantes mais que les outils automatisés de Facebook ne les détectaient pas.
Ces règles proposées n’ont jamais vu le jour, car Instagram aurait fini par implémenter une version révisée de cet outil de modération automatisé. Cependant, les employés ont déclaré à NBC qu’ils n’avaient pas le droit de le tester pour des préjugés raciaux après qu’il ait été modifié.
En réponse au rapport, Facebook a affirmé que la méthodologie originale des chercheurs était erronée. , bien que la société n’ait pas nié avoir émis un moratoire sur les enquêtes sur d’éventuels préjugés raciaux dans ses outils de modération. Le vice-président de la croissance et de l’analyse de Facebook, Alex Shultz, a évoqué des problèmes d’éthique et de méthodologie dans la décision lors d’une interview avec NBC.
La société a ajouté qu’elle recherchait actuellement de meilleures façons de tester les préjugés raciaux dans ses produits, ce qui correspond à l’annonce de Facebook plus tôt cette semaine qu’il est en train de rassembler de nouvelles équipes pour étudier les impacts raciaux potentiels sur ses plateformes.
« Nous étudions activement comment mesurer et analyser les produits Internet selon des critères raciaux et ethniques de manière responsable et en partenariat avec d’autres entreprises », a déclaré la porte-parole de Facebook Carolyn Glanville dans un communiqué à plusieurs points de vente .
Dans son entretien avec NBC, Schultz a ajouté que les préjugés raciaux sur les plateformes de Facebook sont un «sujet très chargé» mais que la société a «massivement augmenté nos investissements» pour enquêter sur les préjugés algorithmiques et comprendre ses effets sur la modération des discours de haine.
Face donnée le penchant du livre pour l’hébergement raciste, transphobe, sexiste et généralement dieu-terrible contenu , le fait qu’une certaine magie algorithmique dans les coulisses puisse aider à éradiquer les voix marginalisées n’est guère surprenant. Décevant, bien sûr, mais pas surprenant. [NBC]
Image en vedette: Chandan Khanna (Getty Images)
