OpenAI a construit un outil qui pourrait potentiellement attraper les étudiants qui trichent en demandant à ChatGPT de rédiger leurs devoirs – mais selon le Wall Street Journal, l’entreprise se demande s’il faut le publier.
Dans une déclaration fournie à TechCrunch, un porte-parole d’OpenAI a confirmé que la société étudiait la méthode de filigrane de texte décrite dans l’article du Journal, mais a déclaré qu’elle adoptait une « approche délibérée » en raison de « les complexités impliquées et de son impact probable sur l’écosystème plus large au-delà d’OpenAI ».
« La méthode de filigrane de texte que nous développons est techniquement prometteuse, mais comporte des risques importants que nous évaluons pendant que nous recherchons des alternatives, y compris la susceptibilité au contournement par de mauvais acteurs et le potentiel d’avoir un impact disproportionné sur des groupes comme les non-anglophones », a déclaré le porte-parole.
Il s’agirait d’une approche différente de la plupart des efforts précédents pour détecter le texte généré par l’IA, qui ont été largement inefficaces. Même OpenAI lui-même a fermé son précédent détecteur de texte IA l’année dernière en raison de son « faible taux de précision ».
Avec le filigrane de texte, OpenAI se concentrerait uniquement sur la détection de l’écriture à partir de ChatGPT, et non des modèles d’autres entreprises. Il le ferait en apportant de petites modifications à la façon dont ChatGPT sélectionne les mots, créant essentiellement un filigrane invisible dans l’écriture qui pourrait ensuite être détecté par un outil distinct.
Suite à la publication de l’article de la revue, OpenAI a également mis à jour un billet de blog en mai à propos de ses recherches sur la détection du contenu généré par l’IA. La mise à jour indique que le filigrane de texte s’est avéré « très précis et même efficace contre la falsification localisée, comme la paraphrase », mais s’est avéré « moins robuste contre la falsification mondialisée ; comme l’utilisation de systèmes de traduction, la reformulation avec un autre modèle génératif, ou demander au modèle d’insérer un caractère spécial entre chaque mot, puis de supprimer ce caractère.
En conséquence, OpenAI écrit que cette méthode est « triviale à contourner par de mauvais acteurs ». La mise à jour d’OpenAI fait également écho au point de vue du porte-parole sur les non-anglophones, écrivant que le filigrane de texte pourrait « stigmatiser l’utilisation de l’IA en tant qu’outil d’écriture utile pour les anglophones non natifs ».
