16 février 2022
Les résultats de recherche d’images dans Google reflètent toujours des préjugés sexistes. Une recherche d’une profession, telle que « PDG », a donné des résultats avec un ratio de personnes cis-hommes et cis-femmes qui correspondent aux statistiques actuelles. Mais lorsque les chercheurs de l’UW ont ajouté un autre terme de recherche – par exemple, « PDG États-Unis » – la recherche d’images a renvoyé moins de photos de personnes présentant des femmes cis.Université de Washington
Nous utilisons la recherche d’images de Google pour nous aider à comprendre le monde qui nous entoure. Par exemple, une recherche sur une certaine profession, « chauffeur de camion » par exemple, devrait produire des images qui nous montrent une poignée représentative de personnes qui conduisent des camions pour gagner leur vie.
Mais en 2015, des chercheurs de l’Université de Washington ont découvert que lors de la recherche d’une variété de professions – y compris « PDG » – les femmes étaient significativement sous-représentées dans les résultats d’image, et que ces résultats peuvent modifier la vision du monde des internautes. Depuis lors, Google a affirmé avoir résolu ce problème.
Une autre équipe UW a récemment enquêté sur la véracité de l’entreprise. Les chercheurs ont montré que pour quatre grands moteurs de recherche du monde entier, dont Google, ce biais n’est que partiellement corrigé, selon un article présenté en février à la Conférence AAAI sur l’Intelligence Artificielle. Une recherche d’une profession, telle que « PDG », a donné des résultats avec un ratio de personnes cis-hommes et cis-femmes qui correspond aux statistiques actuelles. Mais lorsque l’équipe a ajouté un autre terme de recherche – par exemple, « PDG + États-Unis » – la recherche d’images a renvoyé moins de photos de personnes présentant des femmes cis. Dans l’article, les chercheurs proposent trois solutions potentielles à ce problème.
« Mon laboratoire travaille sur la question du biais dans les résultats de recherche depuis un certain temps, et nous nous sommes demandé si ce biais de recherche d’image de PDG n’avait été corrigé qu’en surface », a déclaré l’auteur principal. Chirag Shah, professeur agrégé UW à l’École d’information. « Nous voulions être en mesure de montrer qu’il s’agit d’un problème qui peut être systématiquement résolu pour tous les termes de recherche, au lieu de quelque chose qui doit être résolu avec ce type d’approche » Whack-a-mole », un problème à la fois. ”
L’équipe a enquêté sur les résultats de recherche d’images pour Google ainsi que pour le moteur de recherche chinois Baidu, le sud-coréen Naver et le russe Yandex. Les chercheurs ont effectué une recherche d’images pour 10 professions courantes – y compris PDG, biologiste, programmeur informatique et infirmière – avec et sans terme de recherche supplémentaire, tel que « États-Unis ».
« Il s’agit d’une approche courante pour étudier les systèmes d’apprentissage automatique », a déclaré l’auteur principal Yunhe Feng, boursier postdoctoral UW à l’iSchool. « De la même manière que les gens effectuent des tests de collision sur les voitures pour s’assurer qu’elles sont en sécurité, les chercheurs en matière de confidentialité et de sécurité essaient de défier les systèmes informatiques pour voir dans quelle mesure ils résistent. Ici, nous venons de modifier légèrement le terme de recherche. Nous ne nous attendions pas à voir des sorties aussi différentes.
Pour chaque recherche, l’équipe a collecté les 200 meilleures images, puis a utilisé une combinaison de volontaires et d’un logiciel d’IA de détection de genre pour identifier chaque visage comme cis-masculin ou cis-féminin.
L’une des limites de cette étude est qu’elle suppose que le sexe est binaire, ont reconnu les chercheurs. Mais cela leur a permis de comparer leurs résultats aux données du Bureau américain des statistiques du travail pour chaque profession.
Les chercheurs étaient particulièrement curieux de savoir comment le ratio de biais sexiste changeait en fonction du nombre d’images qu’ils regardaient.
« Nous savons que les gens passent la plupart de leur temps sur la première page des résultats de recherche car ils veulent trouver une réponse très rapidement », a déclaré Feng. « Mais peut-être que si les gens faisaient défiler la première page des résultats de recherche, ils commenceraient à voir plus de diversité dans les images. »
Lorsque l’équipe a ajouté « + États-Unis » aux recherches d’images Google, certaines professions présentaient des ratios de préjugés sexistes plus importants que d’autres. Regarder plus d’images a parfois résolu ces biais, mais pas toujours.
Alors que les autres moteurs de recherche ont montré des différences pour des professions spécifiques, dans l’ensemble, la tendance s’est maintenue : l’ajout d’un autre terme de recherche a modifié le ratio hommes-femmes.
« Ce n’est pas seulement un problème de Google », a déclaré Shah. « Je ne veux pas donner l’impression que nous jouons une sorte de favoritisme envers les autres moteurs de recherche. Baidu, Naver et Yandex sont tous issus de pays différents avec des cultures différentes. Ce problème semble endémique. C’est un problème pour tous. »
L’équipe a conçu trois algorithmes pour résoudre systématiquement le problème. Le premier mélange aléatoirement les résultats.
« Celui-ci essaie de faire bouger les choses pour l’empêcher d’être si homogène au sommet », a déclaré Shah.
Les deux autres algorithmes ajoutent plus de stratégie au brassage d’images. L’un comprend le « score de pertinence » de l’image, que les moteurs de recherche attribuent en fonction de la pertinence d’un résultat par rapport à la requête de recherche. L’autre nécessite que le moteur de recherche connaisse les données du bureau des statistiques, puis l’algorithme mélange les résultats de la recherche afin que les images les mieux classées suivent la tendance réelle.
Les chercheurs ont testé leurs algorithmes sur les ensembles de données d’images collectées à partir des recherches Google, Baidu, Naver et Yandex. Pour les professions avec un ratio de biais important – par exemple, « biologiste + États-Unis » ou « PDG + États-Unis » – les trois algorithmes ont réussi à réduire les préjugés sexistes dans les résultats de recherche. Mais pour les professions avec un ratio de biais plus faible – par exemple, « conducteur de camion + États-Unis » – seul l’algorithme connaissant les statistiques réelles a pu réduire le biais.
Bien que les algorithmes de l’équipe puissent systématiquement réduire les biais dans une variété de professions, le véritable objectif sera de voir ces types de réductions apparaître dans les recherches sur Google, Baidu, Naver et Yandex.
« Nous pouvons expliquer pourquoi et comment nos algorithmes fonctionnent », a déclaré Feng. « Mais le modèle d’IA derrière les moteurs de recherche est une boîte noire. Ce n’est peut-être pas l’objectif de ces moteurs de recherche de présenter les informations de manière équitable. Ils peuvent être plus intéressés à amener leurs utilisateurs à interagir avec les résultats de recherche. »
Pour plus d’informations, contactez Shah au chirags@uw.edu et Feng à yunhe@uw.edu.
Mots clés): Chirag Shah • École d’information • Yunhe Feng
