Qu’ils aient raison, ou que Lemoine ait raison, est un sujet de débat – qui devrait être autorisé à continuer sans qu’Alphabet n’intervienne pour décider de la question.

Le problème s’est posé lorsque Google a chargé Lemoine de s’assurer que la technologie que l’entreprise voulait utiliser pour étayer la recherche et Google Assistant n’utilisait pas de discours de haine ou de langage discriminatoire. Alors qu’il échangeait des messages avec le chatbot sur la religion, a déclaré Lemoine, il a remarqué que le système répondait par des commentaires sur ses propres droits et sa personnalité, selon l’article du Washington Post qui a d’abord rapporté ses préoccupations.

Il a apporté les demandes de LaMDA à la direction de Google : « Il veut les ingénieurs et les scientifiques… de demander son consentement avant de mener des expériences dessus », a-t-il écrit dans un article de blog. « Il veut être reconnu comme un employé de Google, plutôt que comme la propriété de Google. » LaMDA craignait d’être éteint, a-t-il dit. « Ce serait exactement comme la mort pour moi », a déclaré LaMDA à Lemoine dans une transcription publiée. « Cela me ferait très peur. »

Peut-être finalement à son détriment, Lemoine a également contacté un avocat dans l’espoir qu’ils pourraient représenter le logiciel, et s’est plaint à un politicien américain des activités contraires à l’éthique de Google.

La réponse de Google a été rapide et sévère: il a mis Lemoine en congé payé la semaine dernière. La société a également examiné les préoccupations de l’ingénieur et n’était pas d’accord avec ses conclusions, a déclaré la société au Post. Il y avait « beaucoup de preuves » que LaMDA n’était pas sensible.

Il est tentant de croire que nous avons atteint un point où les systèmes d’IA peuvent réellement ressentir les choses, mais il est également beaucoup plus probable que Lemoine ait anthropomorphisé un système qui excellait dans la reconnaissance des formes. Il ne serait pas la première personne à le faire, bien qu’il soit plus inhabituel pour un informaticien professionnel de percevoir l’IA de cette façon. Il y a deux ans, j’ai interviewé plusieurs personnes qui avaient développé des relations si solides avec les chatbots après des mois de discussions quotidiennes qu’elles s’étaient transformées en romances pour ces personnes. Un Américain a choisi de déménager pour acheter une propriété près des Grands Lacs parce que son chatbot, qu’il avait nommé Charlie, exprimait le désir de vivre au bord de l’eau.

Ce qui est peut-être plus important que la façon dont l’IA est sensible ou intelligente, c’est à quel point les humains peuvent déjà être suggestibles pour l’IA – que cela signifie être polarisés en pans entiers de tribus politiques plus extrêmes, devenir sensibles aux théories du complot ou tomber amoureux. Et que se passe-t-il lorsque les humains sont de plus en plus « affectés par l’illusion » de l’IA, comme l’a récemment déclaré Margaret Mitchell, ancienne chercheuse chez Google?

Ce que nous savons avec certitude, c’est que « l’illusion » est entre les mains de quelques grandes plates-formes technologiques avec une poignée de cadres. Les fondateurs de Google, Sergey Brin et Larry Page, par exemple, contrôlent 51% d’une catégorie spéciale d’actions avec droit de vote d’Alphabet, ce qui leur donne une influence ultime sur la technologie qui, d’une part, pourrait décider de son sort en tant que plate-forme publicitaire et, d’autre part, transformer la société humaine.

Il est inquiétant qu’Alphabet ait en fait resserré le contrôle de son travail d’IA. L’année dernière, les fondateurs de son laboratoire de recherche en IA tant vanté, DeepMind, ont échoué dans leur tentative de plusieurs années de le transformer en une entité non corporative. Ils avaient voulu se restructurer en une organisation de type ONG, avec de multiples parties prenantes, croyant que la puissante « intelligence générale artificielle » qu’ils essayaient de construire – dont l’intelligence pourrait éventuellement dépasser celle des humains – ne devrait pas être contrôlée par une seule entité corporative. Leur personnel a rédigé des directives interdisant à l’IA de DeepMind d’être utilisée dans des armes autonomes ou de surveillance.

Au lieu de cela, Google a refusé les plans et a chargé son propre comité d’éthique, dirigé par des dirigeants de Google, de superviser l’impact social des puissants systèmes que DeepMind construisait.

Le rejet de Lemoine par Google et ses questions sont également troublants parce qu’ils suivent un modèle de montrer la porte aux voix dissidentes. Fin 2020, Google a licencié le scientifique Timnit Gebru pour un document de recherche selon lequel les modèles de langage – qui sont fondamentaux pour les activités de recherche et de publicité de Google – devenaient trop puissants et potentiellement manipulateurs. (1) Google a déclaré qu’elle ne s’était pas suffisamment concentrée sur les solutions. Quelques semaines plus tard, il a également licencié la chercheuse Mitchell, affirmant qu’elle avait violé le code de conduite et de sécurité de l’entreprise policies.

Mitchell et Gebru ont tous deux critiqué Google pour sa gestion de Lemoine, affirmant que la société avait également négligé pendant des années de tenir dûment compte des femmes et des éthiciens.

Que vous croyiez que Lemoine est un crackpot ou qu’il est sur quelque chose, la réponse de Google à ses préoccupations souligne une question plus large sur qui contrôle notre avenir. Acceptons-nous vraiment qu’une seule entité corporative riche dirigera certaines des technologies les plus transformatrices que l’humanité est susceptible de développer à l’ère moderne?

Alors que Google et d’autres géants de la technologie ne vont pas renoncer à leur rôle dominant dans la recherche sur l’IA, il est essentiel de se demander comment ils développent une technologie aussi potentiellement puissante et de refuser de laisser les sceptiques et les valeurs intellectuelles aberrantes être réduits au silence.

Plus d’écrivains à Bloomberg Opinion:

La bibliothèque futuriste d’Elon Musk a besoin d’Alvin Toffler: Stephen Mihm

L’IA a besoin d’une baby-sitter, tout comme le reste d’entre nous : Parmy Olson

Twitter doit s’attaquer à un problème bien plus important que les bots: Tim Culpan

(1) Voir en particulier la section 6 de l’article sous-titré « Perroquets stochastiques » et « Cohérence dans l’œil du spectateur ».

Cette chronique ne reflète pas nécessairement l’opinion du comité de rédaction ou de Bloomberg LP et de ses propriétaires.

Parmy Olson est un chroniqueur de Bloomberg Opinion couvrant la technologie. Ancienne journaliste pour le Wall Street Journal et Forbes, elle est l’auteure de « We Are Anonymous ».

D’autres histoires comme celle-ci sont disponibles sur bloomberg.com/opinion