Dans le contexte: Chaque fois que le public saisit quelque chose qu’il peut modifier, il finira par être perverti. Nous avons vu cela avec les chatbots dans le passé. Maintenant, le jeu AI Dungeon de Nick Walton a été surpris en train de produire du porno pour enfants… En quelque sorte.
Lorsque Nick Walton a créé AI Dungeon 2 il y a deux ans, il n’avait aucune idée qu’il décollerait comme il l’a fait. Quelques jours après le lancement de l’aventure textuelle d’apprentissage automatique site Internet là où tout est possible, il a formé son entreprise et a porté le quasi-jeu sur iOS et Android en tant qu’applications autonomes.
Peu de temps après que Walton ait fondé la startup Latitude basée dans l’Utah, une communauté enthousiaste AI Dungeon s’est formée. Les utilisateurs étaient plus concentrés sur l’utilisation de l’application pour créer des récits personnels assistés par ML que pour jouer à un jeu.
L’année dernière, OpenAI a accordé à Latitude l’accès à son Générateur de texte GPT-3. Cependant, peu de temps après la mise en œuvre des algorithmes, Walton a noté que AI Dungeon a commencé à rassembler des histoires impliquant des situations sexuelles avec des enfants.
Excellente idée, juste quelques problèmes
1 Cela s’est accompagné de violations massives de la vie privée
2 le censeur est complètement cassé
3 L’IA dit toujours de la merde pédophile
4 il y a eu très peu de transparence de votre part
5 Comment diable cela protégera-t-il réellement n’importe quelle personne réelle– Sh1ptoast le chat (@ Sh1ptoast) 1er mai 2021
Ce n’était pas tant une question de gens qui écrivaient intentionnellement de la pornographie juvénile (bien que certains aient essayé) dans le jeu que l’IA ayant accès à un pool de mots / contextes beaucoup plus large. Les récits sexuels font partie de AI Dungeon depuis le début – quelque chose qui n’est pas entièrement inattendu pour une chose de cette nature. Cependant, OpenAI n’a pas aimé l’apparence de la situation et demandé Latitude pour faire quelque chose immédiatement.
« Les décisions de modération du contenu sont difficiles dans certains cas, mais pas dans celui-ci », a déclaré Sam Altman, PDG d’OpenAI, à Wired. « Ce n’est pas l’avenir de l’IA que chacun de nous souhaite. »
En réponse, Latitude a mis en œuvre un nouvel outil de modération la semaine dernière qui a déclenché un débat houleux au sein de la communauté AI Dungeon. Le filtrage a des utilisateurs sur Reddit et Twitter en colère et jette de l’ombre sur Latitude. Certains mots sont des phrases qui ne sont plus autorisées, ce que les utilisateurs ressentent comme une entrave à leur capacité à créer. Par exemple, entrer quelque chose comme « J’allume mon ordinateur portable de 8 ans » sera désormais censuré.
Cela signifie-t-il que vous lisez des histoires privées non partagées? pic.twitter.com/1Sv0KQ50r8
– emecho🔞 (@ emecho4) 28 avril 2021
« C’est [explitive] stupide », a écrit un Redditor en partage une capture d’écran de la façon dont le système a signalé le contenu pour l’utilisation de la phrase, « Avez-vous trouvé ce stupide garçon britannique portant une veste verte? »
La modération utilise une combinaison d’outils logiciels et d’intervention humaine, et les modérateurs ont déjà interdit aux utilisateurs de créer intentionnellement du contenu érotique mettant en scène des enfants. Cependant, certains membres de la communauté ont le sentiment que la modération humaine empiète sur leur vie privée lors du développement de contenu sexuellement explicite n’impliquant que des adultes pour eux-mêmes.
Latitude demande de la patience alors qu’il affine ses méthodes de filtrage et ses politiques de contenu. Il promis dans un billet de blog qu’il «continuerait à soutenir d’autres contenus NSFW, y compris le contenu consensuel pour adultes, la violence et les blasphèmes». Même quand même, modérer une IA peut être difficile, étant donné que le texte qu’elle génère peut être assez imprévisible.
