Dans les années 2010, la politologue américaine Virginia Eubanks a cherché à savoir si les programmes informatiques équipés d’intelligence artificielle nuisaient aux communautés pauvres dans des endroits comme Pittsburgh et Los Angeles.
Son livre résultant, Automatiser les inégalités (2018), fait une lecture effrayante: Eubanks a constaté que les systèmes publics et privés activés par l’IA liés à la santé, aux avantages et à la police prenaient des décisions capricieuses – et dommageables – basées sur des données erronées et des préjugés ethniques et sexistes.
Pire encore, les systèmes d’IA étaient si impénétrables qu’ils étaient difficiles à surveiller ou à contester lorsque les décisions étaient erronées – en particulier par les personnes qui étaient victimes de ces «stratégies morales et punitives de gestion de la pauvreté», comme le dit Eubanks.
Les avertissements d’Eubanks ont reçu peu d’attention du public lorsqu’ils sont apparus. Mais maintenant, tardivement, la question du biais de l’IA suscite un débat furieux dans la Silicon Valley – non pas à cause de ce qui arrive à ceux qui vivent dans la pauvreté, mais à la suite d’une dispute amère parmi les travailleurs de la technologie bien payés chez Google.
Plus tôt ce mois-ci, Margaret Mitchell, un employé de Google qui codirigeait une équipe étudiant l’éthique dans l’IA, a été licencié après s’être soi-disant engagé dans «l’exfiltration de documents confidentiels sensibles et de données privées d’autres employés», selon Google. Le groupe technique n’a pas expliqué ce que cela signifie. Mais Mitchell cherchait apparemment des preuves que Google avait maltraité Timnit Gebru, son co-chef de l’unité d’éthique de l’IA, qui a été évincée à la fin de l’année dernière.
C’est profondément embarrassant pour le géant de la technologie. Gebru est une rareté – une technophile noire senior – qui a fait campagne contre les préjugés raciaux et de genre via le groupe industriel Noir dans l’IA. Plus embarrassant, son départ est intervenu après avoir tenté de publier un document de recherche sur les dangers d’une innovation en IA sans entraves qui a apparemment bouleversé les dirigeants de Google.
En l’occurrence, l’infraction papier est trop geek pour faire la une des journaux. Cependant, il fait valoir, entre autres, que les plates-formes de traitement du langage naturel, qui s’appuient sur d’énormes corps de texte, peuvent intégrer le type de biais dont Eubanks a mis en garde. Et après que Gebru a été évincé, Mitchell a dit à ses collègues de Google que Gebru avait été ciblé en raison des «mêmes fondements de racisme et de sexisme que nos systèmes d’IA, lorsqu’ils sont entre de mauvaises mains, absorbent».
Mitchell me dit: «J’ai essayé d’utiliser ma position pour faire part à Google de préoccupations concernant la race et l’inégalité entre les sexes. . . Être licencié maintenant a été dévastateur. Gebru fait écho: «Si vous regardez qui gagne en importance et qui est payé pour prendre des décisions [about AI design and ethics] ce ne sont pas des femmes noires. . . Il y avait un certain nombre de personnes [at Google] qui ne pouvait pas me supporter.
Google nie cela et dit que Gebru est partie parce qu’elle a enfreint les protocoles de recherche internes. La société souligne qu’elle a maintenant nommé Marian Croak, une autre employée noire, pour diriger une unité d’éthique de l’IA remaniée. Le directeur général Sundar Pichai a également présenté ses excuses au personnel.
Mais l’optique semble «difficile», à utiliser en langage professionnel, notamment parce que, selon le dernier rapport de Google sur la diversité, moins d’un tiers de ses employés dans le monde sont des femmes (en légère baisse par rapport à 2019) et seulement 5,5% de ses employés américains le sont noir (contre 13 pour cent de la population américaine).
Cette histoire fonctionnera sans aucun doute, mais il y a au moins trois choses que tout le monde, même les non-techniciens, doit noter maintenant. Premièrement, les problèmes de la Silicon Valley en matière de déséquilibre entre les sexes et les races n’ont pas commencé et n’ont pas pris fin avec les membres les plus scandaleux de la fraternité Big Tech – le problème est endémique et durera probablement des années.
Deuxièmement, la pression exercée sur les géants de la technologie pour réformer ne vient pas tant des régulateurs ou des actionnaires que des employés eux-mêmes. Ils deviennent des lobbyistes francs, non seulement sur le sexe et la race, mais aussi sur l’environnement et les droits du travail. Même avant ce dernier drame, Google avait fait face à des protestations d’employés pour harcèlement sexuel; Amazone connaît une opposition similaire sur les questions écologiques.
Troisièmement, le problème de l’IA et des préjugés qu’Eubanks met en évidence dans son livre devient de plus en plus aigu. Des entreprises comme Google ne se contentent pas de créer des plates-formes d’IA toujours plus grandes, mais les intègrent plus profondément dans nos vies. Les outils sur lesquels le papier de Gebru prend un coup d’œil sont un élément clé des processus de recherche de Google.
Ces systèmes offrent souvent une efficacité et une commodité extraordinaires. Mais les programmes d’IA fonctionnent en scannant des quantités incroyablement vastes de données sur l’activité humaine et la parole pour trouver des modèles et des corrélations, en utilisant le passé pour extrapoler l’avenir. Cela fonctionne bien si l’histoire est un bon guide sur la façon dont nous voulons que les choses se déroulent, mais pas si nous voulons construire un avenir meilleur en effaçant des éléments de notre passé – comme les discours racistes.
La solution est d’avoir plus et un meilleur jugement humain dans ces programmes. Impliquer les visages non blancs dans la conception la reconnaissance faciale les outils, par exemple, peuvent réduire le biais pro-blanc. Mais le hic, c’est que l’intervention humaine ralentit les processus d’IA – et l’innovation. La question posée par la saga Gebru n’est pas simplement: «La technologie est-elle raciste ou sexiste?» mais aussi: «Va-t-on sacrifier du temps et de l’argent pour obtenir un système d’IA plus juste?»
Espérons que le drame de Google attire enfin l’attention sur cela.
Gillian se joindra à Mark Carney, envoyé spécial de l’ONU sur le climat et ancien gouverneur de la Banque d’Angleterre, pour discuter de «Comment sauver la planète – et repenser l’économie mondiale» au FT Weekend Digital Festival, du 18 au 20 mars; ftweekendfestival.com
Suivez Gillian sur Twitter @gilliantett et envoyez-lui un e-mail à gillian.tett@ft.com
Suivre @FTMag sur Twitter pour découvrir d’abord nos dernières histoires. Écoutez notre podcast, Appel à la culture, où les éditeurs de FT et les invités spéciaux discutent de la vie et de l’art à l’époque du coronavirus. Abonnez-vous sur Pomme, Spotify, ou partout où vous écoutez
