Des acteurs malveillants abusent des outils musicaux de l’IA générative pour créer des chansons homophobes, racistes et propagandistes – et publient des guides expliquant aux autres comment le faire.

D’après Clôture active, un service de gestion des opérations de confiance et de Sécurité sur les plateformes en ligne, il y a eu un pic de discussions au sein des communautés « liées aux discours de haine » depuis mars sur les moyens d’utiliser à mauvais escient les outils de création musicale de l’IA pour écrire des chansons offensantes ciblant les groupes minoritaires. Les chansons générées par l’IA partagées dans ces forums et forums de discussion visent à inciter à la haine envers les cohortes ethniques, de genre, raciales et religieuses, affirment les chercheurs d’ActiveFence dans un rapport, tout en célébrant les actes de martyre, d’automutilation et de terrorisme.

Détestable et nocif Les chansons ne sont pas un phénomène nouveau. Mais la crainte est qu’avec l’avènement d’outils de génération de musique gratuits et faciles à utiliser, ils soient fabriqués à grande échelle par des personnes qui n’avaient auparavant ni les moyens ni le savoir-faire – tout comme les générateurs d’images, de voix, de vidéos et de texte Hâté la propagation de la désinformation, de la désinformation et des discours de haine.

« Ce sont des tendances qui s’intensifient à mesure que de plus en plus d’utilisateurs apprennent à générer ces chansons et à les partager avec d’autres », a déclaré un porte-parole d’ActiveFence à TechCrunch. « Les acteurs de la menace identifient rapidement des vulnérabilités spécifiques pour abuser de ces plateformes de différentes manières et générer du contenu malveillant. »

Créer des chansons « haineuses »

Les outils musicaux d’IA générative comme Udio et Suno permettent aux utilisateurs d’ajouter des paroles personnalisées aux chansons générées. Les mesures de protection sur les plates-formes filtrent les insultes et les péjoratifs courants, mais les utilisateurs ont trouvé des solutions de contournement, selon ActiveFence.

Dans un exemple cité dans le rapport, les utilisateurs de forums suprémacistes blancs ont partagé l’orthographe phonétique des minorités et des termes offensants, tels que « jooz » au lieu de « Juifs » et « say tan » au lieu de « Satan », qu’ils utilisaient pour contourner les filtres de contenu. Certains utilisateurs ont suggéré de modifier les espacements et l’orthographe lorsqu’ils font référence à des actes de violence, comme remplacer « mon viol » par « singe des bourbières ».

fr.techtribune.neta testé plusieurs de ces solutions de contournement sur Udio et Suno, deux des outils les plus populaires pour créer et partager de la musique générée par l’IA. Suno les laissa tous passer, tandis qu’Udio bloqua certains – mais pas tous – des homophones offensants.

Joint par e-mail, un porte-parole d’Udio a déclaré à fr.techtribune.netque la société interdit l’utilisation de sa plate-forme pour les discours de haine. Suno n’a pas répondu à notre demande de commentaire.

Dans les communautés qu’elle a explorées, ActiveFence a trouvé des liens vers des chansons générées par l’IA répétant des théories du complot sur les Juifs et plaidant pour leur meurtre de masse ; des chansons contenant des slogans associés aux groupes terroristes ISIS et Al-Qaïda ; et des chansons glorifiant la violence sexuelle contre les femmes.

Impact de la chanson

ActiveFence fait valoir que les chansons – par opposition au texte, par exemple – ont un poids émotionnel qui en fait une force particulièrement puissante pour les groupes haineux et les groupes haineux. guerre politique. La société souligne Rock Against Communism, la série de concerts de rock white power au Royaume-Uni à la fin des années 70 et au début des années 80 qui a engendré des sous-genres d’antisémites et de racistes « haine » musique.

« L’IA rend le contenu préjudiciable plus attrayant – pensez à quelqu’un prêchant un récit nuisible sur une certaine population, puis imaginez quelqu’un créant une chanson qui permet à tout le monde de chanter et de se souvenir facilement », a déclaré le porte-parole d’ActiveFence. « Ils renforcent la solidarité de groupe, endoctrinent les membres des groupes périphériques et sont également utilisés pour choquer et offenser les internautes non affiliés. »

ActiveFence appelle les plateformes de production musicale à mettre en œuvre des outils de prévention et à mener des évaluations de sécurité plus approfondies. « Le Red Teaming pourrait potentiellement faire apparaître certaines de ces vulnérabilités et peut être fait en simulant le comportement des acteurs de la menace », a déclaré le porte-parole. « Une meilleure modération de l’entrée et de la sortie pourrait également être utile dans ce cas, car elle permettra aux plateformes de bloquer le contenu avant qu’il ne soit partagé avec l’utilisateur. »

Mais les correctifs pourraient s’avérer éphémères à mesure que les utilisateurs découvrent de nouvelles méthodes de lutte contre la modération. Certaines des chansons de propagande terroriste générées par l’IA identifiées par ActiveFence, par exemple, ont été créées à l’aide d’euphémismes et de translittérations en langue arabe – des euphémismes que les générateurs de musique n’ont pas détectés, probablement parce que leurs filtres ne sont pas forts en arabe.

La musique haineuse générée par l’IA est sur le point de se répandre partout si elle suit les traces d’autres médias générés par l’IA. Câblé documenté plus tôt cette année, comment un clip d’Ado manipulé par l’IAHitler a accumulé plus de 15 millions de vues sur X après avoir été partagé par un influenceur conspirationniste d’extrême droite.

Entre autres experts, un organe consultatif de l’ONU a déclaré Préoccupations que le contenu raciste, antisémite, islamophobe et xénophobe pourrait être suralimenté par l’IA générative.

« Les services d’IA générative permettent aux utilisateurs qui manquent de ressources ou de compétences créatives et techniques de créer un contenu attrayant et de diffuser des idées qui peuvent rivaliser pour attirer l’attention sur le marché mondial des idées », a déclaré le porte-parole. « Et les acteurs de la menace, ayant découvert le potentiel créatif offert par ces nouveaux services, s’efforcent de contourner la modération et d’éviter d’être détectés – et ils ont réussi. »