ChatGPT peut fournir un essai, un code informatique… ou un texte juridique, en quelques secondes. – Copyright AFP Abdul MAJEED

Samsung a a lancé une interdiction temporaire de l’intelligence artificielle sur l’utilisation d’outils d’IA générative, suite à une fuite de données internes au sein de ses systèmes. Cet incident de perte de données s’est produit en avril 2023. Cela inclut des outils comme ChatGPT, google Bard et Bing.

La fuite de données a été attribuée à divers employés qui ont accidentellement divulgué des données sensibles via ChatGPT (cela s’est probablement produit lorsque ChatGPT a été utilisé pour aider les ingénieurs à générer du code informatique afin d’accélérer leurs tâches). Cela a conduit Samsung à déclarer que il prépare le sien outils d’intelligence artificielle internes (Samsung n’a pas encore son propre produit d’IA générative).

D’après Samsung (en communication avec TechCrunch) : « L’entreprise examine les mesures visant à créer un environnement sécurisé pour utiliser en toute sécurité l’IA générative afin d’améliorer la productivité et l’efficacité des employés. Cependant, jusqu’à ce que ces mesures soient prêtes, nous restreignons temporairement l’utilisation de l’IA générative via les appareils de l’entreprise.

Matt Fulmer, responsable de l’ingénierie de la cyberintelligence chez Deep Instinct a exprimé à Journal numérique pourquoi cet incident est préoccupant.

Fulmer commence par évaluer le contexte du problème : « La décision de Samsung d’interdire l’utilisation de ChatGPT dans leurs environnements après qu’un incident d’exposition « accidentel » s’est produit lors de l’utilisation de l’IA générative LLM (Large Language Model) met en évidence le besoin croissant pour les organisations de comprendre comment ces les plates-formes fonctionnent sur le backend.

Fulmer blâme l’erreur humaine pour le problème, en particulier la manière dont les gens interagissent avec ce qui est une technologie nouvelle et novatrice. Ici, il évalue : « Dans cette situation, les employés ne comprenant pas comment les LLM sont formés, le système a donné accès aux données exclusives en dehors de l’organisation.

Décrivant ce qui est requis, Fulmer déclare : « Pour former n’importe quel type de LLM, vous avez besoin d’un ensemble de données pour « alimenter » le système. Cet ensemble de données peut (et est) extrait des demandes/conversations tenues avec le LLM, puis alimenté pour créer un nouveau modèle avec une meilleure précision.

Cela amène Fulmer à conclure : « Les entreprises doivent s’en méfier, car beaucoup utilisent des LLM pour vérifier le code ou relire des documents pour suggérer des modifications. »

Revenant à l’incident de Samsung, Fulmer revient au cœur de la préoccupation : « L’inquiétude ne vient pas seulement d’une fuite potentielle de propriété intellectuelle, mais aussi du fait que quelqu’un pourrait trouver des informations qui exposent une faiblesse au sein d’une entreprise, puis utiliser l’IA générative pour créer un charge utile qui cible spécifiquement cette entreprise.

Est-ce que c’est probable ? Il semble que oui, note Fulmer : « Les acteurs de la menace passent régulièrement au peigne fin les LLM pour essayer de trouver des informations sur les entreprises qui ont été accidentellement glissées dans les demandes (comme les e-mails inclus dans des documents qui ont été vérifiés ponctuellement), afin qu’ils puissent exploiter ces informations. et les charges utiles générées pour lancer efficacement des attaques ciblées.

Que faut-il faire pour l’instant dans les environnements d’entreprise ?

En évaluant le risque pour les highflyers basés sur la technologie, Fulmer recommande : « Pour commencer, suivez l’exemple de Samsung et mettez en place un verrouillage de sécurité pour empêcher les membres de l’organisation d’utiliser les LLM pour essayer de « simplifier » leur travail. De plus, créez les politiques de sécurité nécessaires pour définir une AUP (Politique d’utilisation acceptable) et définir clairement les sanctions en cas de violation de l’AUP.

En conclusion, Fulmer adopte une vision nuancée des technologies telles que ChatGPT : « Cette technologie peut être une aubaine pour la société, mais pour le moment, c’est un fardeau pour quiconque au sein de la sécurité étant donné la menace réelle et persistante qu’elle est devenue. »