Meredith Whittaker en a assez du contingent de « frat house » de l’industrie technologique. Je me suis assis avec le PDG de Signal à VivaTech à Paris pour passer en revue le large éventail de problèmes graves et adultes auxquels la société est confrontée, de la désinformation à qui contrôle l’IA, en passant par l’État de surveillance envahissant. Au cours de notre conversation, nous nous sommes penchés sur la récente guerre des mots de Signal avec Elon Musk, Pavel Durov de Telegram et, compte tenu de son affrontement controversé avec Scarlett Johanson, les réflexions franches de Whittaker sur la direction d’OpenAI, qu’elle a comparées à des « dortoirs ».

Entre autres choses, Whittaker s’inquiète de la concentration du pouvoir dans les cinq principales plateformes de médias sociaux, en particulier en cette année où le monde fait face à un grand nombre d’élections générales, notamment aux États-Unis, et la dépendance de l’Europe à l’égard des géants technologiques externes basés aux États-Unis. Elle a fait valoir que l’assouplissement des réglementations européennes n’aidera pas réellement l’Europe à concurrencer les géants américains de la technologie, ni à être bon pour la société. Elle a critiqué l’obsession des médias pour les deepfakes pilotés par l’IA, tout en ignorant souvent comment les plateformes de médias sociaux privilégient l’engagement hyperbolique aux faits.

Nous avons également discuté de la publicité de surveillance, des implications du projet de loi britannique sur la Sécurité en ligne, des propositions UE-CSAM (« absolument dangereux ») et de la question de savoir si Pavel Durov de Telegram devrait passer plus de temps à sécuriser sa plateforme qu’à être suivi par un photographe pour son compte Instagram (« il est plein de s- »).

Et vers la fin, elle a révélé pourquoi elle passera les six prochains mois en Europe. (Mes questions sont en italique) :

Mike Butcher : Vous avez récemment parlé de la concentration du pouvoir dans l’IA, et du fait que c’était important dans le contexte européen. Voulez-vous développer cela ?

Meredith Whittaker : La réponse très courte est que c’est important dans le contexte européen, car ce pouvoir n’est pas concentré en Europe. Oui, ce pouvoir est concentré entre les mains d’une poignée d’entreprises qui résident aux États-Unis, puis d’autres en Chine. Mais lorsque nous parlons de ce contexte, nous parlons des États-Unis. La dépendance de l’Europe, des startups européennes, des gouvernements européens, des institutions européennes, à l’égard de l’IA est en fin de compte une dépendance à l’égard d’infrastructures et de systèmes qui sont créés, contrôlés et qui rejaillissent sur les bénéfices et la croissance de cette poignée d’entreprises. Maintenant, le contexte dans lequel nous parlons est mai 2024. Maintenant, je ne sais pas combien de mois il nous reste avant les élections et je refuse de m’en souvenir maintenant. Mais nous envisageons la possibilité très réelle d’un régime Trump et d’un gouvernement américain de style plus autoritaire, et cette partie de la [Republican] Le parti a l’œil sur le contrôle de la technologie et en particulier des médias sociaux depuis très longtemps. Ce sont donc des considérations qui devraient toutes être prises ensemble dans une analyse de ce qu’est l’IA ? À qui sert l’IA ? Et pourquoi l’Europe devrait-elle s’inquiéter de la concentration du pouvoir dans l’industrie de l’IA ?

MB : Il y a un débat en Europe autour de l’accélérationnisme et de l’accélération des technologies. Certains entrepreneurs européens sont frustrés par la réglementation européenne. Pensez-vous que leurs inquiétudes concernant une éventuelle réglementation européenne, peut-être que l’UE ralentisse le rythme du progrès technologique, sont justifiées ?

MW : Excusez-moi, je viens de l’Académie. Je suis donc un adepte des définitions. Je veux décortiquer un peu cela. La prémisse ici est-elle que sans de telles chaînes, l’Europe serait libre de construire des concurrents égaux aux géants américains de la technologie ? Si c’est la présomption, ce n’est pas vrai. Ils savent que ce n’est pas vrai. Quiconque comprend l’histoire, les modèles commerciaux, l’enracinement profond de ces entreprises sait également que ce n’est pas vrai. Il peut y avoir de la frustration avec la réglementation qui « ralentit votre série B ». Mais je pense que nous devons examiner une définition du « progrès » qui repose sur l’élimination de tous les garde-fous qui régiraient l’utilisation et l’abus des technologies qui sont actuellement chargées de prendre des décisions incroyablement sensibles ; actuellement lié à des infrastructures de surveillance de masse qui accélèrent de nouvelles formes de contrôle social ; qui sont utilisés pour dégrader et diminuer le travail. Est-ce ce que nous voulons ? Est-ce un progrès ? Parce que si nous ne définissons pas nos termes, je pense que nous pouvons nous laisser prendre dans ces contes de fées. Bien sûr, certains gars vont être solidement issus de la classe moyenne après avoir encaissé, et c’est bon pour eux. Mais ne confondons pas cela avec les progrès vers un avenir vivable. Progrès vers une structure de gouvernance socialement bénéfique, progrès vers une technologie qui répond réellement aux besoins humains, qui est réellement responsable devant les citoyens.

MB : Vous avez soulevé l’exemple de la désinformation sur le contenu généré par l’IA sur Zelensky et sa femme

Comme des vidéos truquées et des sites Web générés par l’IA.

MW : L’accent mis sur les deepfakes dans le vide est en fait passer à côté de la forêt pour les arbres, la « forêt » étant le fait que nous comptons désormais sur cinq plateformes de médias sociaux massives en tant qu’arbitres. [TikTok, Facebook, Instagram, Twitter/X, and youtube]

Ces plateformes de médias sociaux massives et homogènes sont incitées à calibrer leurs algorithmes pour l’engagement parce qu’elles veulent plus de clics, plus de vues publicitaires, qui sont incitées à élever le contenu, le contenu grandiloquent, le contenu hyperbolique, le contenu complètement faux, n’est-ce pas ? Et c’est là que nous voyons, à mon avis, l’IA utilisée pour la désinformation d’une manière beaucoup plus puissante. C’est là que vous trouverez un deepfake. Plus personne ne va sur un site Web. Vous allez sur Twitter, YouTube, vous cherchez, vous voyez ce qu’il y a là-dedans. Vous voyez un titre et cliquez dessus, vous cliquez sur quelqu’un qui publie à partir de ce site Web. Je ne pense pas que nous puissions avoir une conversation sur la désinformation sans avoir une conversation sur le rôle des plateformes massives et homogènes qui ont cannibalisé notre écosystème médiatique et notre écosystème d’information au service du profit et de la croissance d’une poignée d’entreprises.

MB : Au Royaume-Uni, nous avons l’Advertising Standards Authority. En Allemagne, vous ne pouvez pas faire de publicité pour des souvenirs nazis, par exemple sur eBay. Y aurait-il des moyens de contrôler l’industrie de la publicité et, par conséquent, en aval, de créer de meilleures règles et de meilleurs résultats à partir des plateformes qui s’appuient sur la publicité comme modèle commercial ?

MW : Je pense que l’interdiction de la publicité de surveillance serait un très bon premier pas. Nous nous attaquerions vraiment à la racine des pathologies auxquelles nous sommes confrontés dans l’industrie de la technologie, qui est cette surveillance de masse au nom de l’influence, de l’influence pour vendre quelque chose, de l’influence pour convaincre quelqu’un de voter pour quelque chose, de l’influence pour désinformer quelqu’un. En fin de compte, c’est le jeu.

MB : Les données d’entraînement pour cette surveillance de masse, comme vous le dites, ont été mises en évidence avec l’histoire autour de l’utilisation par OpenAI de la voix de l’IA « Sky » qui ressemblait beaucoup à Scarlett Johansson. Elle a révélé plus tard qu’elle avait été contactée par Sam Altman pour utiliser sa voix. Avez-vous une idée de qui a gagné cet incident ?

MW : J’ai posté ça sur Twitter, mais c’est comme… Taureaux ‘Edge Lord’ -. C’est tellement irrespectueux. C’est tellement inutile. Et cela déchire vraiment le voile sur cette mythologie selon laquelle vous êtes tous des gens sérieux au sommet de la science en train de construire la prochaine Divinité, alors qu’il est très clair que la culture est celle des dortoirs encouragés par une bande de « Yes men » qui pensent que chaque blague que vous dites est drôle, parce qu’ils sont payés pour le faire, et personne là-bas ne prend ce leadership par les épaules et ne dit « Qu’est-ce que vous faites !? »

MB : L’année dernière, lors de fr.techtribune.netDisrupt, il y a eu une discussion avec vous sur le projet de loi britannique sur la sécurité en ligne (maintenant Act) qui suggérait qu’il pourrait demander aux entreprises technologiques d’intégrer des portes dérobées dans leur cryptage de bout en bout. Quelle est votre position maintenant que ce projet de loi a été adopté ?

MW : Nous ne le ferions jamais. Nous n’y arriverons jamais. Ce que nous avons dit, c’est que s’ils décidaient pour appliquer cette partie du projet de loi, qui pourrait être utilisée par l’Ofcom pour dire à Signal « ils doivent construire une porte dérobée, ils doivent mettre en œuvre une analyse côté client » – qui est une porte dérobée – nous partirions [the UK]. Parce que nous n’allons pas faire ça. Nous n’allons jamais trahir les personnes qui comptent sur Signal, d’autant plus que beaucoup d’entre elles s’y fient, dans des contextes où la sécurité numérique est une question de vie ou de mort.

Ce qui semble clair, c’est que l’Ofcom a reçu un sac géant de bêtises sauvages, dont certaines sont intéressantes, d’autres non, qui se sont construites comme un sapin de Noël, où tout le monde avait ajouté son ornement préféré. Il a été adopté en raison de l’inertie politique, pas [through] tout soutien réel. Tous les députés à qui j’avais parlé avant le projet de loi disaient : « Oui, nous savons que c’est merde, mais personne ne fera rien à ce sujet ». Et maintenant, l’Ofcom doit s’occuper de son application. Et donc… Tous les deux mois, 1 700 pages supplémentaires tombent que vous devez payer quelqu’un pour lire.

MB : Vous n’avez donc pas encore subi de pression de la part de l’Ofcom ?

MW : Non. Et mon expérience avec la direction de l’Ofcom a été qu’ils sont assez raisonnables. Ils comprennent ces problèmes. Mais encore une fois, ils ont reçu ce projet de loi et essaient maintenant de savoir quoi faire là-bas.

MB : Il y a eu un développement récent, où ils consultent sur l’IA pour la sécurité en ligne. Avez-vous des commentaires à faire à ce sujet ?

MW : Je suis très préoccupé par la limite d’âge. Et cette idée que nous avons besoin d’une base de données, [for instance] dirigé par Yoti, une société basée aux États-Unis qui fait pression pour ces infrastructures, qui feraient de l’identification biométrique ou de l’apprentissage automatique, de la magie inexacte, ou qui auraient une base de données d’identités, ou quoi que ce soit, cela signifie que vous efféezdoivent se connecter avec votre véritable identité et votre âge et toute autre information qu’ils souhaitent, afin de visiter un site web. Vous parlez d’un incroyable régime de surveillance de masse. Aux États-Unis, pendant longtemps, les bibliothécaires ont tenu bon en ne divulguant pas ce que les gens empruntaient parce que cette information était très sensible. Vous pouvez consulter le Affaire Robert Bork et ses locations et achats de vidéos et à quel point ces informations étaient sensibles. Ce que vous voyez ici avec ces dispositions n’est qu’une introduction de quelque chose qui ignore complètement la compréhension de la sensibilité de ces données et crée un [situation] où vous devez vous enregistrer auprès des autorités avant de pouvoir utiliser un site Web.

MB : La Commission européenne a proposé une nouvelle directive visant à refondre les règles de droit pénal relatives au matériel pédopornographique (EU-CSAM). Que pensez-vous de cette proposition ?

MW : Honnêtement, il ne semble pas y avoir de volonté politique [for it]. Mais il est remarquable qu’il semble y avoir ce contingent enragé, qui, malgré des reportages d’investigation accablants qui montrent à quel point les lobbyistes de l’industrie de la numérisation et de la biométrie ont joué un rôle lourd dans la rédaction de cette législation. Ceci, malgré le fait que toute la communauté d’experts – toute personne notable qui fait des recherches sur la sécurité ou la cryptographie et comprend ces systèmes et leurs limites – dit que c’est absolument irréalisable. Ce dont vous parlez, c’est d’une porte dérobée dans les infrastructures de base sur lesquelles nous comptons pour le gouvernement, pour le commerce, pour la communication. C’est absolument dangereux, et oh, attendez, il n’y a aucune donnée qui montre que cela va réellement aider les enfants. Il y a un énorme manque de financement pour les services sociaux, l’éducation. Il y a de vrais problèmes pour aider les enfants. On ne se concentre pas sur ces questions. Au lieu de cela, il y a cette fixation sur une porte dérobée sur le cryptage, sur la rupture de la seule technologie dont nous disposons qui peut garantir la confidentialité, l’authenticité et la vie privée. Les arguments sont donc là. Il est très clair qu’ils ont tort. Il est très clair que ce processus a été corrompu, c’est le moins qu’on puisse dire. Et pourtant, il semble y avoir cette faction qui ne peut tout simplement pas laisser partir cet os.

MB : Vous êtes clairement préoccupé par la puissance des plateformes d’IA centralisées. Que pensez-vous de la soi-disant « IA décentralisée » dont parle Emad Mostaque, par exemple ?

MW : J’entends un slogan. Donnez-moi un argument. Donnez-moi une architecture. Dites-moi ce que cela signifie réellement. Qu’est-ce qui est spécifiquement décentralisé ? Quelles sont les affordances qui accompagnent votre version spéciale de la décentralisation ?

MB : Évidemment, il y avait le Affrontement récent avec Elon Musk sur Telegram contre Signal. En faisant un zoom arrière et en sortant de cette expérience, vous savez, avez-vous vu des activistes sortir de Signal ? Que pensez-vous de ce que Pavel Durov a dit ?

MW : Il semble que Pavel soit trop occupé à être suivi par un photographe professionnel pour obtenir les faits exacts. Je ne sais pas pourquoi il a amplifié cela. Je sais qu’il est plein de merde quand il s’agit de ses opinions ou de ses affirmations sur Signal. Et nous avons tous les reçus de notre côté. Le jury est donc partant. Le verdict est clair. Ce qui est malheureux, c’est que, contrairement à d’autres exemples de discours de cadres technologiques, auxquels je suis d’accord pour m’engager et je m’en fiche particulièrement, celui-ci nuit en fait à de vraies personnes et est incroyablement imprudent. Aux côtés d’un certain nombre de personnes avec lesquelles nous travaillons en coalition, nous avons dû être en contact avec des défenseurs des droits de l’homme et des communautés militantes qui étaient légitimement effrayés par ces revendications parce que nous sommes dans une industrie, dans un écosystème, où il y a peut-être 5 000 personnes dans le monde qui ont les compétences nécessaires pour s’asseoir et valider ce que nous faisons. et nous faisons en sorte qu’il soit aussi facile que possible pour les personnes qui ont cette expertise étroite de valider ce que fait Signal. Notre protocole est open source. Notre code est open source. C’est bien documenté. Nos implémentations sont open source. Notre protocole est formellement vérifié. Nous faisons tout ce que nous pouvons. Mais il y a beaucoup de gens qui ont des compétences et une expertise différentes, qui doivent croire les experts sur parole. Nous avons de la chance parce que nous travaillons ouvertement depuis une décennie. Nous avons créé la technologie de cryptage de référence, nous avons la confiance de la sécurité, des pirates, de la sécurité de l’information, de la communauté de la cryptographie et ces personnes se présentent comme une sorte de système immunitaire. Mais cela ne signifie pas que nous n’avons pas à faire un vrai travail de contrôle des dégâts et de soins avec les personnes qui comptent sur Signal. Souvent, nous voyons ces campagnes de désinformation cibler les communautés vulnérables afin de les forcer à choisir une option moins sûre, puis de les soumettre à la surveillance et au contrôle social et à d’autres formes de préjudice qui découlent de ce type d’asymétrie de l’information militarisée. J’étais donc furieux, je suis furieux, et je pense que c’est incroyablement imprudent. Jouez vos jeux, mais ne les emmenez pas dans mon camp.

MB : J’ai fait beaucoup de reportages sur la technologie en Ukraine et sur la guerre asymétrique en cours. Dans le même temps, il est clair que les Ukrainiens utilisent toujours Telegram dans une très large mesure, tout comme les Russes. Avez-vous une opinion sur son rôle dans la guerre ?

MW : Telegram est une plateforme de médias sociaux avec des DM. Signal est un service de communication privé. Nous faisons des communications interpersonnelles, et nous le faisons au plus haut niveau de confidentialité. Donc, beaucoup de gens en Ukraine, dans beaucoup d’autres endroits, utilisent les canaux Telegram pour les diffusions sur les réseaux sociaux, utilisent les groupes et les autres fonctionnalités de médias sociaux de Telegram. Ils utilisent également Signal pour des communications sérieuses. Telegram est donc une plateforme de médias sociaux, elle n’est pas cryptée, c’est le moins sûr des services de messagerie et de médias sociaux.

MB : Vous avez dit que vous alliez passer beaucoup de temps dans l’UE, pourquoi ?

MW : Je serai à Paris pour les six prochains mois. Nous nous concentrons sur notre marché européen, nos connexions européennes. C’est le bon moment en tant qu’application préservant la vie privée qui ne reculera jamais devant nos principes d’être très flexible, compte tenu de la situation politique aux États-Unis, et de comprendre nos options. J’écris également un livre sur tout le travail que j’ai fait au cours des 20 dernières années.