OpenAI a Formé un nouveau comité pour superviser les décisions « critiques » en matière de sûreté et de Sécurité liées aux projets et aux opérations de l’entreprise. Mais, dans un geste qui ne manquera pas de soulever la colère des éthiciens, OpenAI a choisi de doter le comité d’initiés de l’entreprise – dont Sam Altman, PDG d’OpenAI – plutôt que d’observateurs extérieurs.

Altman et le reste du comité de sûreté et de sécurité – les membres du conseil d’administration d’OpenAI Bret Taylor, Adam D’Angelo et Nicole Seligman ainsi que le scientifique en chef Jakub Pachocki, Aleksander Madry (qui dirige l’équipe de « préparation » d’OpenAI), Lilian Weng (responsable des systèmes de sécurité), Matt Knight (responsable de la sécurité) et John Schulman (responsable de la « science de l’alignement ») – seront chargés d’évaluer les processus de sécurité et les garanties d’OpenAI au cours des 90 prochains jours. selon un article sur le blog d’entreprise de la société. Le comité partagera ensuite ses conclusions et ses recommandations avec l’ensemble du conseil d’administration d’OpenAI pour examen, indique OpenAI, après quoi il publiera une mise à jour sur toute suggestion adoptée « d’une manière conforme à la sûreté et à la sécurité ».

« OpenAI a récemment commencé à former son prochain modèle de frontière et nous prévoyons que les systèmes qui en résultent nous amèneront au prochain niveau de capacités sur notre chemin vers [artificial general intelligence,] », écrit OpenAI. « Bien que nous soyons fiers de construire et de lancer des modèles qui sont à la pointe de l’industrie en matière de capacités et de sécurité, nous accueillons favorablement un débat animé en ce moment important. »

OpenAI a vu au cours des derniers mois plusieurs des départs très médiatisés du côté de la sécurité de son équipe technique – et certains de ces anciens membres du personnel ont exprimé des inquiétudes quant à ce qu’ils perçoivent comme une dépriorisation intentionnelle de la sécurité de l’IA.

Daniel Kokotajlo, qui a travaillé dans l’équipe de gouvernance d’OpenAI, démissionner en avril après avoir perdu confiance dans le fait qu’OpenAI « se comporterait de manière responsable » autour de la sortie d’une IA de plus en plus performante, comme il l’a écrit dans un article de son blog personnel. Et Ilya Sutskever, cofondateur d’OpenAI et ancien scientifique en chef de la société, est parti en mai après une longue bataille avec Altman et ses alliés – apparemment en partie à cause de la précipitation d’Altman à lancer des produits alimentés par l’IA au détriment du travail de sécurité.

Plus récemment, Jan Leike, un ancien chercheur de DeepMind qui, alors qu’il travaillait chez OpenAI, a participé au développement de ChatGPT et du prédécesseur de ChatGPT, InstructGPT, a démissionné de son rôle de chercheur en sécurité, déclarant dans une série de messages sur X qu’il pensait qu’OpenAI « n’était pas sur la trajectoire » pour résoudre les problèmes liés à la sécurité et à la sûreté de l’IA. Gretchen Krueger, chercheuse en politique d’IA, qui a quitté OpenAI la semaine dernière, a fait écho aux déclarations de Leike : Faire appel à l’entreprise d’améliorer sa responsabilité et sa transparence et « le soin avec lequel [it uses its] propre technologie. »

Quartz Notes qu’en plus de Sutskever, Kokotajlo, Leike et Krueger, au moins cinq des employés les plus soucieux de la sécurité d’OpenAI ont démissionné ou ont été poussés vers la sortie depuis la fin de l’année dernière, y compris les anciens membres du conseil d’administration d’OpenAI, Helen Toner et Tasha McCauley. Dans un éditorial pour The Economist publié Dimanche, Toner et McCauley ont écrit qu’avec Altman à la barre, ils ne croient pas qu’on puisse faire confiance à OpenAI pour se tenir responsable.

“[B]Forts de notre expérience, nous pensons que l’autogouvernance ne peut pas résister de manière fiable à la pression des incitations au profit », ont déclaré Toner et McCauley.

Pour répondre au point soulevé par Toner et McCauley, fr.techtribune.neta rapporté plus tôt ce mois-ci que l’équipe Superalignment d’OpenAI, responsable du développement de moyens de gouverner et de diriger les systèmes d’IA « superintelligents », s’est vu promettre 20 % des ressources de calcul de l’entreprise, mais en a rarement reçu une fraction. L’équipe de Superalignment a depuis été dissoute et une grande partie de son travail a été placée sous la responsabilité de Schulman et d’un groupe consultatif de sécurité OpenAI formé en décembre.

OpenAI a plaidé pour une réglementation de l’IA. En même temps, il s’est efforcé de façonner cette réglementation, embauche lobbyiste interne et lobbyistes dans un nombre croissant de cabinets d’avocats et dépensé des centaines de milliers de dollars en lobbying aux États-Unis au cours du seul T4 2023. Récemment, le département américain de la Sécurité intérieure a annoncé qu’Altman ferait partie des membres de son intelligence artificielle nouvellement forméence, qui fournira des recommandations pour « le développement et le déploiement sûrs et sécurisés de l’IA » dans les infrastructures critiques des États-Unis.

Dans le but d’éviter l’apparence d’une feuille de vigne éthique avec le comité de sûreté et de sécurité dominé par les dirigeants, OpenAI s’est engagé à retenir les services d’experts tiers en matière de « sûreté, de sécurité et techniques » pour soutenir le travail du comité, notamment le vétéran de la cybersécurité Rob Joyce et l’ancien fonctionnaire du ministère américain de la Justice John Carlin. Cependant, au-delà de Joyce et Carlin, la société n’a pas détaillé la taille ou la composition de ce groupe d’experts externes – ni fait la lumière sur les limites du pouvoir et de l’influence du groupe sur le comité.

Dans un Publier sur X, le chroniqueur de Bloomberg Parmy Olson note que les conseils de surveillance des entreprises comme le Comité de sûreté et de sécurité, similaires aux conseils de surveillance de l’IA de google comme son Conseil consultatif externe sur les technologies avancées, «[do] pratiquement rien en matière de surveillance réelle. » Fait révélateur, OpenAI Dit Il cherche à répondre aux « critiques valables » de son travail par l’intermédiaire du comité – les « critiques valables » étant dans l’œil du spectateur, bien sûr.

Altman a promis un jour que les étrangers joueraient un rôle important dans la gouvernance d’OpenAI. Dans un article paru en 2016 dans le New Yorker, il dit qu’OpenAI «[plan] un moyen de permettre à de larges pans du monde d’élire des représentants à un … conseil de gouvernance. Cela ne s’est jamais produit – et il semble peu probable que ce soit le cas à ce stade.