Qu’est-ce qui vient de se passer? Le battage médiatique étouffant autour des algorithmes génératifs et leur prolifération désordonnée ont poussé de nombreuses personnes à essayer de trouver une solution fiable au problème d’identification des textes par l’IA. Selon une étude récemment publiée, ce problème est voué à ne pas être résolu.
Alors que les entreprises de la Silicon Valley peaufinent leurs modèles commerciaux autour de nouveaux mots à la mode omniprésents tels que l’apprentissage automatique, ChatpGPT, les IA génératives et les grands modèles linguistiques (LLM), quelqu’un essaie d’éviter un avenir où personne ne pourra reconnaître les textes composés statistiquement de ceux mis en place par l’intelligence humaine réelle.
Selon une étude menée par cinq informaticiens de l’Université du Maryland, cependant, l’avenir pourrait déjà être là. Les scientifiques se sont demandés: « Le texte généré par l’IA peut-il être détecté de manière fiable ? » La réponse à laquelle ils ont abouti est que le texte généré par les LLM ne peut pas être détecté de manière fiable dans des scénarios pratiques, tant d’un point de vue théorique que pratique.
L’utilisation non réglementée des LLM peut entraîner des « conséquences malveillantes » telles que le plagiat, les fausses nouvelles, le spam, etc. et Barde de Google.
L’étude a examiné les méthodes de détection LLM de pointe déjà sur le marché, montrant qu’une simple « attaque de paraphrase » suffit à les tromper tous. En utilisant un léger réarrangement du texte généré à l’origine, un service LLM intelligent (ou même malveillant) peut « casser toute une gamme de détecteurs ».
Même en utilisant des schémas de filigrane ou des scanners basés sur des réseaux neuronaux, il est « empiriquement » impossible de détecter de manière fiable du texte basé sur LLM. Dans le pire des cas, la paraphrase peut réduire la précision de la détection LLM d’une valeur de référence de 97 % à 57 %. Cela signifie qu’un détecteur ne ferait pas mieux qu’un « classificateur aléatoire » ou un tirage au sort, ont noté les scientifiques.
Les algorithmes de filigrane, qui placent une signature indétectable sur le texte généré par l’IA, sont complètement effacés par la paraphrase et ils comportent même un risque de sécurité supplémentaire. Un acteur malveillant (humain) pourrait « déduire des signatures de filigrane cachées et les ajouter à leur texte généré », disent les chercheurs, afin que le texte malveillant/spam/faux soit détecté comme du texte généré par le LLM.
Selon Soheil Feizi, l’un des auteurs de l’étude, nous devons juste apprendre à vivre avec le fait que « nous ne pourrons peut-être jamais dire de manière fiable si un texte est écrit par un humain ou une IA ».
Une solution possible à ce faux gâchis de génération de texte serait un effort accru pour vérifier la source des informations textuelles. Le scientifique mentionne comment les plateformes sociales ont commencé à vérifier largement les comptes, ce qui pourrait rendre plus difficile la diffusion de fausses informations basées sur l’IA.
