Il y a cinq ans, à la suite de la mort d’un ami et membre du groupe, David Barberá a décidé de payer pour un compte cloud Google Drive. Il voulait stocker des fichiers musicaux pour que les enfants de son ami entendent un jour comment leur père jouait. « Je me suis donc inscrit au Service Google Drive», dit-il. « C’était la chose la plus sûre qui m’est venue à l’esprit pour que la musique de Javi ne soit pas perdue, car les enfants étaient très jeunes à l’époque. »

Barberá, un professeur de lycée de 46 ans de Valence, dans l’est de l’Espagne, n’avait pas prévu de détail clé: les conditions d’utilisation de Google cachent un système qui désactive les comptes lorsqu’il détecte des contenus interdits, y compris du matériel sexuel impliquant des enfants ou du terrorisme. « La seule chose à laquelle je peux penser, c’est que j’ai peut-être téléchargé quelque chose que je n’aurais pas dû télécharger, comme des films que j’ai téléchargés à l’époque de [peer-to-peer file exchange program] Emule. Pourrait-il y avoir pédopornographie ou le terrorisme là-dedans? C’est possible », explique Barberá dans une longue conversation téléphonique.

Au début, Barberá n’avait aucune idée de la raison pour laquelle il avait été exclu de son compte. Il n’a commencé à relier les points qu’après avoir lu des messages dans des forums en ligne et des articles de presse. Il décrit une expérience désespérée d’impuissance alors qu’il se battait pour parler à un être humain chez Google et découvrir comment exactement il avait violé les politiques d’abus de l’entreprise.

En juillet de cette année, Barberá avait besoin de fichiers musicaux qu’il avait sur de vieux disques durs. Afin de mieux organiser le matériel, il a commencé à tout télécharger sur son compte Google Drive, pour lequel il paie toujours chaque mois afin d’avoir deux téraoctets d’espace de stockage en nuage. Quelques minutes après le début du processus, Google a désactivé son compte avec un message indiquant que du « contenu nuisible » avait été trouvé.

Il a déposé plusieurs réclamations, a répondu à des courriels d’employés apparents de Google qui demandaient de nouveaux détails (et qui s’appelaient Nahuel, Rocío, Laura), et appelait tous les téléphones de l’entreprise qu’il pouvait trouver sans jamais pouvoir parler à un humain. À ce moment-là, il a demandé de l’aide à un parent qui travaille dans le journalisme et a finalement réussi à discuter avec un employé présumé de Google qui lui a demandé de la « patience ».

Contenu sexuel

De tout ce processus, Barberá n’a obtenu qu’une seule réponse concrète, et c’était un message adressé à l’e-mail de sa femme (qu’il avait ajouté comme compte secondaire). Le message indiquait: « Nous pensons que votre compte contenait du contenu sexuel susceptible de violer les conditions d’utilisation de Google et pouvant également être interdit par la loi. » Mais il a ensuite ajouté: « Nous avons supprimé ce contenu » et « si vous continuez à enfreindre nos règles, nous pouvons résilier votre compte Google ». Ce message a été reçu le 26 août et, bien que cela ressemble à un avertissement, le compte est toujours suspendu.

« J’ai tout là-bas depuis 14 ans, et depuis cinq ans, je ne l’ai que là -, » dit Barberá, faisant allusion au fait qu’il ne conserve pas de fichiers sur des disques externes. La perte du compte Google ne signifie pas seulement que ses photos et vidéos ont disparu. Barberá a également perdu du matériel de classe, un blog qu’il tenait et son compte YouTube, sans parler d’autres services qu’il avait contractés avec son courrier électronique, d’Amazon à Netflix en passant par une application musicale allemande.

En août, Le New York Times a publié un article avec deux cas similaires aux États-Unis. Google a déclaré au journaliste que les images problématiques étaient des photos d’organes génitaux d’enfants que deux parents avaient prises pour envoyer au pédiatre pour un problème de peau. Lorsque EL PAÍS a posé des questions sur le cas de Barberá, Google a répondu qu’ils ne pouvaient pas fournir ces informations en raison des lois sur la protection de la vie privée, puisque l’utilisateur impliqué est européen. La société a déclaré qu’elle ne partagerait ces informations qu’avec la partie concernée. Mais Barberá n’a pas encore reçu de détails.

Google a offert à ce journal l’accès aux employés à condition que leur identité ne soit pas révélée et qu’ils ne soient pas cités textuellement. Selon la société, qui a insisté sur le fait qu’elle ne parlait pas de ce cas spécifique, un e-mail de « contenu sexuel » n’est envoyé que dans les cas de maltraitance d’enfants, pas de pornographie adulte. Pourquoi alors, ce « ne recommencez pas » ? Google n’a pas développé, si ce n’est pour dire que tout dépend de ce qu’il y avait dans ce compte. Un employé de Google a demandé si ce journal allait nommer l’utilisateur concerné, mais n’a pas précisé pourquoi il était intéressé à le savoir.

EL PAÍS a trouvé trois autres cas similaires à Barberá: deux autres avec des comptes Google et un avec Microsoft. Tous les cas datent de 2022 et dans un seul cas, le compte a été restauré. Dans cette affaire, il ne s’agissait pas d’images sexuelles présumées d’enfants, mais d’un problem avec le mot de passe. La décision de le rétablir n’a jamais été clarifiée non plus.

Téléchargements volumineux

Une autre victime, qui a demandé à rester anonyme parce que son entreprise pourrait avoir Google parmi ses clients, s’est tournée vers « un ami proche » qui travaille au sein de l’entreprise en Espagne. Cet ami ne travaille pas dans un département lié à la modération de contenu, mais il a fait quelques recherches internes et la réponse a été moins qu’optimiste: ces cas sont traités à l’étranger et il n’avait aucune idée si quelqu’un lisait réellement les revendications.

Cet utilisateur avait vu son compte désactivé après avoir téléchargé 40 gigaoctets de photos, de vidéos et de conversations WhatsApp qu’il avait sur son disque dur. Le téléchargement de fichiers était si remarquable que les responsables de la cybersécurité de son entreprise l’ont appelé pour lui demander ce qui se passait. Google ne précise pas quand ou comment il analyse les comptes de ses utilisateurs. Mais dans les deux cas espagnols, ainsi que ceux documentés dans Le New York Times, il s’est produit lorsque des mouvements de fichiers ont été détectés.

La troisième victime poursuit Microsoft, désespérée car elle a perdu des données de sa vie privée mais aussi de son travail : « Son master, ses formulaires fiscaux, ses photos de la naissance de ses enfants et ses bases de données professionnelles. Il souffre », explique son avocate, Marta Pascual. « Le juge pourrait dire que son droit à la vie privée a été violé, bien que je n’aie trouvé aucune étude de cas. »

Le client de Pascual croit que les fichiers suspects viennent à partir de groupes WhatsApp, dont le contenu a été sauvegardé automatiquement. Les trois victimes ont des enfants et, bien qu’elles ne se souviennent pas des photos du pédiatre, elles avaient les images typiques d’enfants dans la baignoire, au lit ou dans la piscine.

Microsoft donne encore moins d’informations que Google. Il n’envoie que quelques déclarations sur la façon dont il lutte contre la pornographie juvénile dans ses systèmes: « Premièrement, nous finançons la recherche pour mieux comprendre comment les criminels abusent de la technologie. Deuxièmement, nous développons une technologie comme PhotoDNA pour détecter les cas d’exploitation sexuelle des enfants. Troisièmement, notre personnel enquête rapidement sur les signalements de contenu abusif et les supprime. Et quatrièmement, nous travaillons avec d’autres entreprises technologiques et les forces de l’ordre pour renvoyer les crimes. »

Comme Microsoft, dans une conversation que ce journal a eue avec Google, la confiance que ces entreprises placent dans leurs systèmes de détection est remarquable. Le logiciel de Google trouve de plus en plus de faux positifs : entre juillet et décembre 2021, il a suspendu 140 868 comptes, soit près du double par rapport au premier semestre 2020.

Google analyse les comptes pour rechercher du matériel sexuel lié aux enfants avec deux technologies: les images pornographiques connues ont un code numérique qui les identifie. Si les systèmes trouvent des images qui correspondent à ces codes, cela désactive le compte. C’est le système PhotoDNA cité par Microsoft.

Le problème, ce sont les nouvelles photos. Pour ceux-ci, Google a créé un deuxième système qui interprète les images et leur attribue une probabilité qu’il s’agisse de pornographie juvénile. Ensuite, en théorie, ils s’adressent à des examinateurs humains qui décident si une photo franchit le seuil sexuel.

Google a également parlé avec des pédiatres, de sorte que l’ordinateur saura faire la distinction entre les images prises à des fins médicales et d’autres. Mais, malgré l’objectif louable, le système peut également faire tomber de nombreuses personnes innocentes dans un piège qui peut même impliquer une enquête policière.

« J’ai un ami qui est membre de la police nationale et je l’ai appelé pour lui parler de l’affaire et il m’a dit qu’il demanderait à des collègues spécialisés dans les crimes informatiques », explique Barberá. « Ils lui ont dit qu’ils n’étaient au courant d’aucun cas comme le mien. » Aux États-Unis, des entreprises telles que Google et Microsoft doivent signaler toute découverte suspecte au National Center for Missing and Exploited Children (NCMEC), qui à son tour en informe la police. Le NCMEC a envoyé 33 136 rapports à l’Espagne en 2021. Ce sont généralement des cas qui ne font pas l’objet d’une enquête, et dans tous les cas, la police ne signale pas à Google ou à Microsoft que telle ou telle personne n’est pas un suspect. En conséquence, les entreprises prennent leurs propres décisions et il appartient à la victime de justifier pourquoi le matériel était légitime.