Résumé

Il est très, très facile pour un praticien d’IA bien intentionné de faire du mal par inadvertance lorsqu’il entreprend de faire le bien – l’IA a le pouvoir d’amplifier les préjugés injustes, rendant les préjugés innés exponentiellement plus nocifs. Parce que l’IA interagit souvent avec des systèmes sociaux complexes, où la corrélation et la causalité peuvent ne pas être immédiatement claires – ou même facilement discernables – les praticiens de l’IA doivent établir des partenariats avec les membres de la communauté, les parties prenantes et les experts pour les aider à mieux comprendre le monde avec lequel ils interagissent. et les implications des erreurs. La dynamique des systèmes communautaires (CBSD) est une approche participative prometteuse pour comprendre les systèmes sociaux complexes qui fait exactement cela.

L’intelligence artificielle (IA) est devenue l’un des principaux moteurs du changement technologique, ayant un impact sur les industries et créant des opportunités entièrement nouvelles. Du point de vue de l’ingénierie, l’IA n’est qu’une forme plus avancée d’ingénierie des données. La plupart des bons projets d’IA fonctionnent plus comme des camionnettes boueuses que des voitures de course impeccables – ils sont une technologie de bourreau de travail qui rend humblement une ligne de production 5% plus sûre ou des recommandations de films un peu plus précises. Cependant, plus que de nombreuses autres technologies, il est très, très facile pour un praticien de l’IA bien intentionné de faire du mal par inadvertance lorsqu’il entreprend de faire le bien. L’IA a le pouvoir d’amplifier les préjugés injustes, rendant les préjugés innés exponentiellement plus nocifs.

En tant que praticiens de l’IA de Google, nous comprenons que la manière dont la technologie de l’IA est développée et utilisée aura un impact significatif sur la société pendant de nombreuses années. En tant que tel, il est essentiel de formuler les meilleures pratiques. Cela commence par le développement responsable de la technologie et l’atténuation de tout biais injuste potentiel qui pourrait exister, qui obligent les technologues à regarder plus d’un pas en avant: pas «Cette automatisation de livraison permettra-t-elle d’économiser 15% sur les coûts de livraison?» mais «Comment ce changement affectera-t-il les villes dans lesquelles nous opérons et les personnes – en particulier les populations à risque – qui y vivent?»

Cela doit être fait à l’ancienne: par des scientifiques des données humaines qui comprennent le processus qui génère les variables qui aboutissent dans des ensembles de données et des modèles. De plus, cette compréhension ne peut être obtenue qu’en partenariat avec les personnes représentées et impactées par ces variables – les membres de la communauté et les parties prenantes, telles que les experts qui comprennent les systèmes complexes avec lesquels l’IA interagira en fin de compte.

Des hypothèses de causalité erronées peuvent conduire à un biais injuste.

Comment pouvons-nous concrétiser cet objectif consistant à intégrer l’équité dans ces nouvelles technologies – en particulier lorsqu’elles fonctionnent souvent de manière inattendue? Dans un premier temps, les informaticiens doivent faire davantage pour comprendre les contextes dans lesquels leurs technologies sont développées et déployées.

Malgré nos progrès dans la mesure et la détection des préjugés injustes, les erreurs de causalité peuvent encore conduire à des résultats néfastes pour les communautés marginalisées. Qu’est-ce qu’une erreur de causalité? Prenons, par exemple, l’observation au Moyen Âge selon laquelle les personnes malades attiraient moins de poux, ce qui a conduit à supposer que les poux étaient bons pour vous. En fait, les poux n’aiment pas vivre avec des personnes souffrant de fièvre. Des erreurs de causalité comme celle-ci, où une corrélation est considérée à tort comme signalant une cause et un effet, peuvent être extrêmement néfastes dans des domaines à enjeux élevés tels que les soins de santé et la justice pénale. Les développeurs de systèmes d’IA – qui n’ont généralement pas de formation en sciences sociales – ne comprennent généralement pas les systèmes et structures sociétaux sous-jacents qui génèrent les problèmes que leurs systèmes sont censés résoudre. Ce manque de compréhension peut conduire à des conceptions basées sur des hypothèses causales trop simplifiées et incorrectes qui excluent des facteurs sociétaux critiques et peuvent conduire à des résultats imprévus et nuisibles.

Par exemple, les chercheurs qui découvert qu’un algorithme médical largement utilisé dans les soins de santé aux États-Unis avait un préjugé racial contre les patients noirs a identifié que la cause profonde était l’hypothèse causale erronée, faite par les concepteurs d’algorithmes, selon laquelle les personnes ayant des besoins de santé plus complexes auraient dépensé plus d’argent en soins de santé. Cette hypothèse ne tient pas compte des facteurs critiques – comme le manque de confiance dans le système de santé et le manque d’accès à des soins de santé abordables – qui ont tendance à réduire les dépenses de santé des patients noirs, quelle que soit la complexité de leurs besoins en soins de santé.

Les chercheurs commettent ce genre d’erreur de causalité / corrélation tout le temps. Mais les choses sont pires pour un ordinateur d’apprentissage en profondeur, qui recherche des milliards de corrélations possibles afin de trouver le moyen le plus précis de prédire les données, et a donc des milliards d’occasions de commettre des erreurs causales. Pour compliquer davantage le problème, c’est très difficile, même avec des outils modernes, tels que Analyse galbée, pour comprendre pourquoi une telle erreur a été commise – un scientifique des données humaines assis dans un laboratoire avec son supercalculateur ne peut jamais déduire des données elles-mêmes quelles peuvent être les erreurs de causalité. C’est pourquoi, parmi les scientifiques, il n’est jamais acceptable de prétendre avoir trouvé une relation causale dans la nature simplement en regardant passivement les données. Vous devez formuler l’hypothèse et ensuite mener une expérience afin de démêler la causalité.

Pour remédier à ces erreurs causales, il faut prendre du recul. Les informaticiens doivent faire plus pour comprendre et rendre compte des contextes sociétaux sous-jacents dans lesquels ces technologies sont développées et déployées.

Chez Google, nous avons commencé à jeter les bases de ce à quoi pourrait ressembler cette approche. Dans un article récent co-écrit par DeepMind, Google AI et notre équipe Trust & Safety, nous soutenons que la prise en compte de ces contextes sociétaux nécessite de prendre en compte le fait qu’il s’agit de systèmes adaptatifs dynamiques, complexes, non linéaires, régis par des mécanismes de rétroaction difficiles à voir. Nous participons tous à ces systèmes, mais aucune personne ni aucun algorithme ne peut les voir dans leur intégralité ou les comprendre pleinement. Ainsi, pour tenir compte de ces inévitables angles morts et innover de manière responsable, les technologues doivent collaborer avec les parties prenantes – des représentants de la sociologie, des sciences du comportement et des sciences humaines, ainsi que des communautés vulnérables – pour former une hypothèse commune sur leur fonctionnement. Ce processus doit avoir lieu dès les premières étapes du développement du produit – même avant le début de la conception du produit – et être réalisé en partenariat complet avec les communautés les plus vulnérables aux biais algorithmiques.

Cette approche participative pour comprendre les systèmes sociaux complexes – appelée dynamique des systèmes à base communautaire (CBSD) – nécessite la création de nouveaux réseaux pour amener ces parties prenantes dans le processus. La CBSD est fondée sur la pensée systémique et incorpore des méthodes qualitatives et quantitatives rigoureuses pour décrire et comprendre en collaboration des domaines problématiques complexes, et nous l’avons identifiée comme une pratique prometteuse dans notre recherche. Renforcer la capacité de nouer des partenariats avec les communautés de manière équitable et éthique qui offre des avantages à tous les participants doit être une priorité absolue. Ce ne sera pas facile. Mais les connaissances sociétales acquises grâce à une compréhension approfondie des problèmes qui importent le plus aux plus vulnérables de la société peuvent conduire à des innovations technologiques plus sûres et plus bénéfiques pour tous.

Passer d’une mentalité de «construire parce que nous pouvons» à «construire ce que nous devrions».

Lorsque les communautés sont sous-représentées dans le processus de conception de développement de produits, elles sont mal desservies par les produits qui en résultent. En ce moment, nous concevons à quoi ressemblera l’avenir de l’IA. Sera-ce inclusif et équitable? Ou reflétera-t-il les éléments les plus injustes et les plus injustes de notre société? L’option la plus juste n’est pas une fatalité – nous devons y travailler. Notre vision de la technologie est celle où une gamme complète de perspectives, d’expériences et d’iniquités structurelles est prise en compte. Nous nous efforçons de rechercher et d’inclure ces points de vue de différentes manières, notamment processus de diligence des droits de l’homme, des sprints de recherche, des contributions directes de communautés vulnérables et d’organisations axées sur l’inclusion, la diversité et l’équité telles que WiML (Femmes en ML) et Latinx en IA; bon nombre de ces organisations sont également cofondées et codirigées par des chercheurs de Google, tels que Noir dans l’IA et Queer en IA.

Si nous, en tant que domaine, voulons que cette technologie soit à la hauteur de nos idéaux, alors nous devons changer notre façon de penser ce que nous construisons – pour passer de notre état d’esprit de «construire parce que nous pouvons» à «construire ce que nous devrions . » Cela signifie que nous nous concentrons fondamentalement sur la compréhension des problèmes profonds et que nous travaillons à établir des partenariats éthiques et à collaborer avec les communautés marginalisées. Cela nous donnera une vision plus fiable à la fois des données qui alimentent nos algorithmes et des problèmes que nous cherchons à résoudre. Cette compréhension plus approfondie pourrait permettre aux organisations de tous les secteurs d’ouvrir de nouvelles possibilités de ce qu’elles ont à offrir tout en étant inclusives, équitables et socialement bénéfiques.