L’équipe Superalignment d’OpenAI, responsable du développement de moyens de gouverner et de diriger les systèmes d’IA « superintelligents », s’est vu promettre 20% des ressources informatiques de l’entreprise, selon une personne de cette équipe. Mais les demandes pour une fraction de ce calcul étaient souvent refusées, empêchant l’équipe de faire son travail.

Ce problème, parmi d’autres, a poussé plusieurs membres de l’équipe à démissionner cette semaine, y compris le co-responsable Jan Leike, un ancien chercheur de DeepMind qui, chez OpenAI, a participé au développement de ChatGPT, GPT-4 et du prédécesseur de ChatGPT, InstructGPT.

Leike a rendu publiques certaines raisons de sa démission vendredi matin. « Je suis en désaccord avec la direction d’OpenAI sur les priorités fondamentales de l’entreprise depuis un certain temps, jusqu’à ce que nous atteignions finalement un point de rupture », a écrit Leike dans une série de messages sur X. « Je pense qu’une plus grande partie de notre bande passante devrait être consacrée à la préparation des prochaines générations de modèles, à la Sécurité, à la surveillance, à la préparation, à la sûreté, à la robustesse de l’adversaire, (super)alignement, confidentialité, impact sociétal et sujets connexes. Ces problèmes sont assez difficiles à résoudre, et je crains que nous ne soyons pas sur la bonne voie pour y parvenir. »

OpenAI n’a pas immédiatement répondu à une demande de commentaire sur les ressources promises et allouées à cette équipe.

OpenAI a formé l’équipe Superalignment en juillet dernier, et elle était dirigée par Leike et le cofondateur d’OpenAI, Ilya Sutskever, qui a également démissionné de la société cette semaine. Il avait l’objectif ambitieux de résoudre les principaux défis techniques du contrôle de l’IA superintelligente au cours des quatre prochaines années. Rejointe par des scientifiques et des ingénieurs de l’ancienne division d’alignement d’OpenAI ainsi que par des chercheurs d’autres organisations de l’entreprise, l’équipe devait contribuer à la recherche sur la sécurité des modèles internes et non OpenAI et, par le biais d’initiatives telles qu’un programme de subventions de recherche, solliciter et partager le travail avec l’ensemble de l’industrie de l’IA.

L’équipe de Superalignment a réussi à publier un ensemble de recherches sur la sécurité et à acheminer des millions de dollars en subventions à des chercheurs externes. Mais, alors que les lancements de produits commençaient à occuper une part croissante de la bande passante de la direction d’OpenAI, l’équipe de Superalignment s’est retrouvée à devoir se battre pour obtenir davantage d’investissements initiaux – des investissements qu’elle considérait comme essentiels à la mission déclarée de l’entreprise de développer une IA superintelligente au profit de toute l’humanité.

« Construire des machines plus intelligentes que l’homme est une entreprise intrinsèquement dangereuse », a poursuivi Leike. « Mais au cours des dernières années, la culture et les processus de sécurité ont été relégués au second plan par rapport aux produits brillants. »

La bataille de Sutskever avec le PDG d’OpenAI, Sam Altman, a servi de distraction supplémentaire majeure.

Sutskever, ainsi que l’ancien conseil d’administration d’OpenAI, ont décidé de licencier brusquement Altman à la fin de l’année dernière en raison de préoccupations selon lesquelles Altman n’avait pas été « toujours franc » avec les membres du conseil. Sous la pression des investisseurs d’OpenAI, dont Microsoft, et de nombreux employés de la société, Altman a finalement été réintégré, une grande partie du conseil d’administration a démissionné et Sutskever supposément n’est jamais retourné au travail.

Selon la source, Sutskever a joué un rôle déterminant dans l’équipe de Superalignement, non seulement en contribuant à la recherche, mais en servant de pont vers d’autres divisions au sein d’OpenAI. Il servirait également d’ambassadeur en quelque sorte, impressionnant l’importance du travail de l’équipe sur les principaux décideurs d’OpenAI.

Après le départ de Leike, Altman a écrit dans X qu’il était d’accord pour dire qu’il y avait « beaucoup plus à faire » et qu’ils étaient « déterminés à le faire ». Il a fait allusion à une explication plus longue, que le cofondateur Greg Brockman a fournie samedi matin :

Bien qu’il y ait peu de concret dans la réponse de Brockman en ce qui concerne les politiques ou les engagements, il a déclaré que « nous avons besoin d’une boucle de rétroaction très étroite, de tests rigoureux, d’un examen minutieux à chaque étape, d’une sécurité de classe mondiale et d’une harmonie entre la sécurité et les capacités ».

Après les départs de Leike et Sutskever, John Schulman, un autre cofondateur d’OpenAI, a pris la tête du type de travail de Superalignment , mais il n’y aura plus d’équipe dédiée – il s’agira plutôt d’un groupe de chercheurs vaguement associés intégrés dans des divisions de l’entreprise. Un porte-parole d’OpenAI l’a décrit comme « intégrant [the team] plus profondément. »

La crainte est que, par conséquent, le développement de l’IA d’OpenAI ne soit pas aussi axé sur la sécurité qu’il aurait pu l’être.

Nous lançons une newsletter sur l’IA ! S’enregistrer ici pour commencer à le recevoir dans vos boîtes de réception le 5 juin.