En bref: Alors qu’une grande partie du monde commence à utiliser des chatbots IA, des inquiétudes concernant leurs implications en matière de sécurité sont exprimées. L’un de ces avertissements provient du National Cyber ​​​​Security Center (NCSC) du Royaume-Uni, qui a mis en évidence certains problèmes potentiels liés à ChatGPT.

Le NCSC, qui fait partie de l’agence de renseignement britannique GCHQ, a publié un poste Mardi, plonger dans la mécanique des IA génératives. Il indique que si les grands modèles de langage (LLM) sont sans aucun doute impressionnants, ils ne sont pas magiques, ils ne sont pas une intelligence générale artificielle et ils contiennent de graves défauts.

Le NCSC écrit que les LLM peuvent se tromper et « halluciner » des faits incorrects, ce que nous avons vu avec Google’s Bard lors de la première démo du chatbot. L’agence écrit qu’ils peuvent être biaisés et sont souvent crédules, par exemple lorsqu’ils répondent à des questions suggestives; ils nécessitent d’énormes ressources de calcul et de vastes données pour s’entraîner à partir de zéro ; et ils peuvent être persuadés de créer un contenu toxique et sont sujets aux attaques par injection.

Mais la grande préoccupation est que les requêtes sensibles des utilisateurs sont visibles pour le fournisseur – OpenAI dans le cas de ChatGPT – et peuvent être utilisées pour enseigner les futures versions des chatbots. Des exemples de questions sensibles pourraient être quelqu’un qui pose des questions révélatrices sur la santé ou les relations. Une autre situation hypothétique est celle d’un PDG qui demande quelle est la meilleure façon de licencier un employé.

Amazon et JPMorgan ne sont que deux entreprises qui ont conseillé à leurs employés de ne pas utiliser ChatGPT, craignant que des informations sensibles ne soient divulguées.

Un autre risque est la possibilité que des requêtes stockées, qui pourraient inclure des informations personnellement identifiables, soient piratées, divulguées ou accidentellement rendues accessibles au public. Il existe également un scénario où l’opérateur LLM est repris par une autre organisation avec une approche moins rigoureuse de la confidentialité.

Loin des préoccupations en matière de confidentialité, le NCSC met en évidence la capacité des LLM à aider les cybercriminels à écrire des logiciels malveillants au-delà de leurs capacités. C’est quelque chose dont nous avons entendu parler en janvier lorsque des chercheurs en sécurité ont découvert que ChatGPT était utilisé sur les forums de cybercriminalité à la fois comme un outil « éducatif » et une plate-forme de création de logiciels malveillants. Le chatbot pourrait également être utilisé pour répondre à des questions techniques sur le piratage des réseaux ou l’augmentation des privilèges.

« Les individus et les organisations doivent faire très attention aux données qu’ils choisissent de soumettre dans les invites. Vous devez vous assurer que ceux qui souhaitent expérimenter les LLM en sont capables, mais d’une manière qui ne met pas les données organisationnelles en danger », écrit le NCSC.

Dans des nouvelles connexes, il a récemment été révélé que les cybercriminels utilisent des personnages générés par l’IA pour diffuser des logiciels malveillants sur YouTube.

Titre : Emiliano Vittoriosi