Le PDG d’OpenAI, Sam Altman, a déclaré qu’OpenAI travaillait avec l’Institut américain de Sécurité de l’IA, un organisme gouvernemental fédéral qui vise à évaluer et à traiter les risques dans les plateformes d’IA, sur un accord visant à fournir un accès précoce à son prochain modèle d’IA générative majeur pour les tests de sécurité.

Le annonce, qu’Altman a publié dans un post sur X tard jeudi soir, était léger sur les détails. Mais il – ainsi qu’un google-deepmind-to-give-early-access-to-new-ai-models-for-safety-screening-uk-s-sunak-says »>Offre similaire avec l’organisme de sécurité de l’IA du Royaume-Uni mis en place en juin – semble être destiné à contrer le récit selon lequel OpenAI a relégué au second plan les travaux sur la sécurité de l’IA au profit de technologies d’IA génératives plus performantes et plus puissantes.

En mai, OpenAI a effectivement dissous une unité travaillant sur le problème du développement de contrôles pour empêcher les systèmes d’IA « superintelligents » de devenir malveillants. Des rapports – y compris les nôtres – ont suggéré qu’OpenAI a mis de côté les recherches sur la sécurité de l’équipe en faveur du lancement de nouveaux produits, ce qui a finalement conduit à la démission des deux co-responsables de l’équipe, Jan Leike (qui dirige maintenant la recherche sur la sécurité de la startup d’IA Anthropic) et le cofondateur d’OpenAI Ilya Sutskever (qui a lancé sa propre entreprise d’IA axée sur la sécurité, Safe Superintelligence Inc.).

En réponse à un chœur croissant de critiques, OpenAI a déclaré qu’elle éliminerait ses Clauses restrictives de non-dénigrement Cela a implicitement découragé la dénonciation et la création d’une commission de sécurité, ainsi que de consacrer 20 % de son calcul à la recherche sur la sécurité. (L’équipe de sécurité dissoute s’était vu promettre 20 % du calcul d’OpenAI pour son travail, mais ne l’a finalement jamais reçu.) Altman s’est réengagé à respecter l’engagement de 20 % et a réaffirmé qu’OpenAI avait annulé les conditions de non-dénigrement pour le personnel nouveau et existant en mai.

Cependant, ces mesures n’ont pas réussi à apaiser certains observateurs, en particulier après qu’OpenAI a doté la commission de sécurité de tous les initiés de l’entreprise, y compris Altman et, plus récemment, Réaffecté un haut responsable de la sécurité de l’IA à une autre organisation.

Cinq sénateurs, dont Brian Schatz, un démocrate d’Hawaï, questions soulevées sur les politiques d’OpenAI dans une lettre récente adressée à Altman. Jason Kwon, directeur de la stratégie d’OpenAI Répondu à la lettre aujourd’hui, en écrivant à l’OpenAI «[is] nous engageons à mettre en œuvre des protocoles de sécurité rigoureux à chaque étape de notre processus.

Le moment de l’accord d’OpenAI avec l’Institut américain de sécurité de l’IA semble un peu suspect à la lumière de l’approbation par la société plus tôt cette semaine de la loi sur l’avenir de l’innovation, un projet de loi du Sénat qui autoriserait l’Institut de sécurité en tant qu’organe exécutif qui établit des normes et des directives pour les modèles d’IA. Ces mesures combinées pourraient être perçues comme une tentative de capture réglementaire – ou à tout le moins comme un exercice d’influence d’OpenAI sur l’élaboration des politiques d’IA au niveau fédéral.

Ce n’est pas pour rien qu’Altman fait partie du Conseil de la sûreté et de la sécurité de l’intelligence artificielle du département américain de la Sécurité intérieure, qui fournit des recommandations pour le « développement et le déploiement sûrs et sécurisés de l’IA » dans l’ensemble des infrastructures critiques des États-Unis. Et OpenAI a considérablement augmenté ses dépenses de lobbying fédéral cette année, dépensant 800 000 $ au cours des six premiers mois de 2024 contre 260 000 $ sur l’ensemble de l’année 2023.

L’Institut américain de sécurité de l’IA, hébergé au sein du National Institute of Standards and Technology du département du Commerce, consulte un consortium d’entreprises comprenant Anthropic ainsi que de grandes entreprises technologiques comme Google, Microsoft, Meta, apple, Amazon et Nvidia. Le groupe industriel est chargé de travailler sur les actions décrites dans le décret d’octobre du président Joe Biden sur l’IA, notamment l’élaboration de lignes directrices pour l’équipe rouge de l’IA, les évaluations des capacités, la gestion des risques, la sûreté et la sécurité et le filigrane du contenu synthétique.