HC’est un scénario hypothétique. Vous êtes le parent d’un tout-petit, d’un petit garçon. Son pénis est devenu enflé à cause d’une infection et cela lui fait mal. Vous téléphonez à la chirurgie du médecin généraliste et vous finissez par contacter l’infirmière du cabinet. L’infirmière vous suggère de prendre une photo de la zone touchée et de l’envoyer par courriel afin qu’elle puisse consulter l’un des médecins.

Donc, vous sortez votre téléphone Samsung, prenez quelques photos et envoyez-les. Peu de temps après, l’infirmière téléphone pour dire que le médecin généraliste vous a prescrit des antibiotiques que vous pouvez récupérer à la pharmacie de la chirurgie. Vous conduisez là-bas, ramassez-les et en quelques heures, l’enflure commence à diminuer et votre garçon se redresse. Panique.

Deux jours plus tard, vous trouvez un message de Google (en anglais seulement sur votre téléphone. Votre compte a été désactivé en raison d’un « contenu nuisible » qui était « une violation grave des règles de Google et pourrait être illégal ». Vous cliquez sur le lien « en savoir plus » et trouvez une liste de raisons possibles, y compris « abus et exploitation sexuels d’enfants ». Soudain, le sou tombe : Google pense que les photos que vous avez envoyées constituaient de la maltraitance d’enfants !

Qu’à cela ne tienne, il y a un formulaire que vous pouvez remplir expliquant les circonstances et demandant à Google d’annuler sa décision. À ce moment-là, vous découvrez que vous n’avez plus Gmail, mais heureusement, vous avez un compte de messagerie plus ancien qui fonctionne toujours, alors vous l’utilisez. Maintenant, cependant, vous n’avez plus accès à votre agenda, à votre carnet d’adresses et à tous les documents de travail que vous avez conservés sur Google Docs. Vous ne pouvez pas non plus accéder à aucune photo ou vidéo que vous avez jamais prise avec votre téléphone, car elles résident toutes sur les serveurs cloud de Google – sur lesquels votre appareil les avait téléchargées de manière réfléchie (et automatique).

Peu de temps après, vous recevez la réponse de Google : l’entreprise ne rétablira pas votre compte. Aucune explication n’est fournie. Deux jours plus tard, on frappe à la porte. Dehors, il y a deux policiers, un homme, une femme. Ils sont ici parce que vous êtes soupçonné de détenir et de transmettre des images illégales.

Cauchemardesque, hein? Mais au moins c’est hypothétique. Sauf que ce n’est pas le cas : c’est une adaptation pour un contexte britannique de ce qui est arrivé à « Mark », un père à San Francisco, comme raconté de manière vivante récemment dans l’ New York Times par le formidable journaliste technique Kashmir Hill. Et, au moment de la rédaction de cette chronique, Mark n’a toujours pas récupéré son compte Google. Comme il s’agit des États-Unis, bien sûr, il a la possibilité de poursuivre Google – tout comme il a la possibilité de creuser son jardin avec une cuillère à café.

Le contexte est que les plates-formes technologiques sont, heureusement, devenues beaucoup plus assidues à analyser leurs serveurs à la recherche d’images de maltraitance d’enfants. Mais en raison du nombre inimaginable d’images détenues sur ces plates-formes, la numérisation et la détection doivent être effectuées par des systèmes d’apprentissage automatique, aidés par d’autres outils (tels que l’étiquetage cryptographique des images illégales, qui les rend instantanément détectables dans le monde entier).

Tout cela est génial. Le problème avec les systèmes de détection automatisés, cependant, est qu’ils génèrent invariablement une proportion de « faux positifs » – des images qui signalent un avertissement mais sont en fait inoffensives et légales. Souvent, c’est parce que les machines sont terribles pour comprendre le contexte, quelque chose que, pour le moment, seuls les humains peuvent faire. En faisant des recherches sur son rapport, Hill a vu les photos que Mark avait prises de son fils. « La décision de les signaler était compréhensible », écrit-elle. « Ce sont des photos explicites des organes génitaux d’un enfant. Mais le contexte compte : ils ont été pris par un parent inquiet pour un enfant malade. »

En conséquence, la plupart des plateformes emploient des personnes pour examiner les images problématiques dans leurs contextes et déterminer si elles justifient d’autres mesures. Ce qui est intéressant dans l’affaire de San Francisco, c’est que les images étaient examiné par un humain, qui a décidé qu’ils étaient innocents, tout comme la police, à qui les images ont également été référées. Et pourtant, malgré cela, Google a maintenu sa décision de suspendre son compte et a rejeté son appel. Il peut le faire parce qu’il est propriétaire de la plate-forme et que toute personne qui l’utilise a cliqué sur un accord pour accepter ses termes et conditions. À cet égard, ce n’est pas différent de Facebook / Meta, Apple, Amazon, Microsoft, Twitter, LinkedIn, Pinterest et le reste.

Cet arrangement fonctionne bien tant que les utilisateurs sont satisfaits des services et de la façon dont ils sont fournis. Mais dès qu’un utilisateur décide qu’il a été maltraité ou abusé par la plate-forme, il tombe dans un trou noir juridique.. Si vous êtes un développeur d’applications qui a l’impression d’être escroqué par la taxe de 30% d’Apple comme prix de vente sur ce marché, vous avez deux choix: payer ou vous taire. De même, si vous avez vendu de manière rentable sur le marché d’Amazon et que vous découvrez soudainement que la plate-forme vend maintenant un produit comparable moins cher sous sa propre marque, eh bien… dur. Bien sûr, vous pouvez vous plaindre ou faire appel, mais en fin de compte, la plate-forme est juge, jury et bourreau. Les démocraties ne toléreraient cela dans aucun autre domaine de la vie. Pourquoi alors les plateformes technologiques sont-elles une exception ? N’est-il pas temps qu’ils ne le soient pas?

Ce que j’ai lu

Une image trop grande?
Il y a une critique intéressante par Ian Hesketh dans le magazine numérique Aeon sur la façon dont Yuval Noah Harari et consorts transforment l’histoire humaine en un conte pour tous, intitulé What Big History Misses.

1-2-3, parti…
La transmission des mots de passe est une belle nécrologie pour le mot de passe par le gourou de l’identité numérique David GW Birch sur son Substack.

Un avertissement
Gary Marcus a écrit une critique élégante de Qu’est-ce qui ne va pas avec le nouveau projet de robot de Google sur sa Substack.