En décembre 2019, latitude, une start-up de l’Utah, a lancé un jeu en ligne pionnier appelé Donjon de l’IA qui a démontré une nouvelle forme de collaboration homme-machine. L’entreprise a utilisé la technologie de génération de texte intelligence artificielle compagnie OpenAI (OpenAI) pour créer un jeu d’aventure à votre choix inspiré par Donjons & Dragons. Lorsqu’un joueur a tapé l’action ou le dialogue, il voulait que son personnage Algorithmes serait l’élaboration de la prochaine phase de leur personnalisé, aventure imprévisible.

L’été dernier, OpenAI a donné à Latitude un accès précoce à une version commerciale plus puissante de sa technologie. dans matériel de marketing, OpenAI vanté Donjon de l’IA comme un exemple du potentiel commercial et créatif de l’écriture d’algorithmes.

Puis, le mois dernier, OpenAI dit, il a découvert Donjon de l’IA a également montré un côté sombre à la collaboration homme-IA. Un nouveau système de surveillance a révélé que certains joueurs tapaient des mots qui ont causé le jeu de générer des histoires représentant des rencontres sexuelles impliquant des enfants. OpenAI a demandé à Latitude de prendre des mesures immédiates. « Les décisions de modération du contenu sont difficiles dans certains cas, mais pas celle-ci », a déclaré sam Altman, PDG d’OpenAI, dans un communiqué. « Ce n’est pas l’avenir de l’IA que l’un d’entre nous veut. »

Annulations et mèmes

Latitude a activé un nouveau système de modération la semaine dernière et déclenché une révolte parmi ses utilisateurs. Certains se sont plaints qu’il était trop sensible et qu’ils ne pouvaient pas se référer à un « ordinateur portable de 8 ans » sans déclencher un message d’avertissement. D’autres ont déclaré que les plans de l’entreprise d’examiner manuellement le contenu marqué fouineraient inutilement sur des créations privées fictives qui étaient sexuellement explicites, mais qui ne concernaient que des adultes , un cas d’utilisation populaire pour Donjon de l’IA.

En bref, la tentative de Latitude de combiner les personnes et les algorithmes au contenu de la police produite par les gens et les algorithmes s’est transformée en désordre. Mèmes furieux et les réclamations d’abonnements annulés volé épais et rapide sur Twitter et Donjon de l’IAcommunautés officielles de Reddit et discorde.

« La communauté se sent trahie que Latitude numérise et accède manuellement et lisent du contenu littéraire fictif privé », dit un Donjon de l’IA joueur qui passe par la poignée Mimi et prétend avoir écrit un total estimé à plus d’un million de mots avec l’aide de l’IA, y compris la poésie, Horaire Twilight parodies, et des aventures érotiques. Mimi et d’autres utilisateurs bouleversés disent qu’ils comprennent le désir de l’entreprise de la police du contenu publiquement visible, mais dis-le a dépassé et ruiné un terrain de jeu créatif puissant. « Cela m’a permis d’explorer des aspects de ma psyché que je n’avais jamais réalisés », dit Mimi.

Un porte-parole de Latitude a déclaré que son système de filtrage et ses politiques de contenu acceptable sont tous deux en cours d’affinée. Le personnel avait précédemment interdit les joueurs qu’ils ont appris avoir utilisé Donjon de l’IA pour générer du contenu sexuel mettant en vedette des enfants. Mais après l’avertissement récent d’OpenAI, l’entreprise travaille sur « les changements nécessaires », a déclaré le porte-parole. Latitude s’est engagée dans un blog post la semaine dernière que Donjon de l’IA « continuerait de soutenir d’autres contenus de la NSFW, y compris le contenu consensuel pour adultes, la violence et les jurons ».

Il sera difficile de bloquer le système d’IA de créer certains types de contenu sexuel ou pour adultes tout en permettant à d’autres. Une technologie comme celle d’OpenAI peut générer du texte dans de nombreux styles différents parce qu’elle est apprentissage automatique algorithmes qui ont digéré les modèles statistiques de l’utilisation du langage en milliards de mots grattés à partir du web, y compris les pièces non appropriées pour les mineurs. Le logiciel est capable de moments de mimétisme surprenant, mais il ne comprend pas les catégories sociales, juridiques ou de genre comme les gens le font. Ajoutez l’inventivité diabolique de Homo internetus, et la sortie peut être étrange, belle ou toxique.

OpenAI a publié sa technologie de génération de texte en open source fin 2019, mais l’année dernière a transformé une version considérablement améliorée, appelée GPT-3, en un service commercial. Des clients comme Latitude paient pour alimenter des chaînes de texte et récupérer la meilleure estimation du système à quel texte devrait suivre. Le service a attiré l’attention de l’industrie de la technologie après que les programmeurs qui ont obtenu un accès précoce partagé de façon impressionnante couramment blagues, sonnets et code générés par la technologie.

OpenAI a déclaré que le service permettrait aux entreprises et aux startups Microsoft (en), un backer lourd d’OpenAI, une licence exclusive pour les algorithmes sous-jacents. câblé et certains codeurs et chercheurs en IA qui ont essayé le système ont montré qu’il pouvait aussi générer des textes peu recommandables, tels que des commentaires antisémites, et propagande extrémiste. OpenAI a déclaré qu’il serait soigneusement vétérinaire clients pour sevrer les mauvais acteurs, et a exigé de la plupart des clients , mais pas Latitude – d’utiliser des filtres que le fournisseur d’IA créé pour bloquer les jurons, les discours de haine, ou le contenu sexuel.

Vous vouliez… monter ce dragon ?

Hors des feux de la rampe, Donjon de l’IA un accès relativement limité à la technologie de génération de texte d’OpenAI. En décembre 2019, le mois du lancement du jeu en utilisant la version open source précédente de la technologie OpenAI, il a gagné 100 000 joueurs. Certains ont rapidement découvert et en sont venus à chérir sa maîtrise du contenu sexuel. D’autres se sont plaints que l’IA ferait ressortir des thèmes sexuels non interdits, par exemple lorsqu’ils tentaient de voyager en montant un dragon et que leur aventure prenait une tournure imprévue.

Le cofondateur de Latitude, Nick Walton, a reconnu le problème au sein de la communauté officielle reddit du jeu quelques jours après son lancement. Il a dit que plusieurs joueurs lui avaient envoyé des exemples qui les lassaient « profondément mal à l’aise », ajoutant que l’entreprise travaillait sur la technologie de filtrage. Dès les premiers mois du jeu, les joueurs ont également remarqué — et mis en ligne pour signaler — qu’il écrivait parfois des enfants dans des scénarios sexuels.

Donjon de l’IAles communautés officielles reddit et discorde ont ajouté des chaînes dédiées pour discuter du contenu pour adultes généré par le jeu. Latitude a ajouté un « mode sans échec » optionnel qui filtre les suggestions de l’IA comportant certains mots. Comme tous les filtres automatisés, cependant, il n’était pas parfait. Et certains joueurs ont remarqué le réglage soi-disant sûr amélioré l’écriture érotique du générateur de texte parce qu’il a utilisé plus d’analogies et d’euphémismes. La société a également ajouté un niveau d’abonnement premium pour générer des revenus.

quand Donjon de l’IA a ajouté les algorithmes d’écriture commerciale les plus puissants d’OpenAI en juillet 2020, l’écriture est encore plus impressionnante. « Le saut dans la créativité et la capacité de narration était céleste », dit un joueur chevronné. Le système est devenu sensiblement plus créatif dans sa capacité à explorer des thèmes sexuellement explicites, aussi, cette personne dit. Pendant un certain temps l’année dernière, les joueurs ont remarqué Latitude expérimenter avec un filtre qui a automatiquement remplacé les occurrences du mot « viol » avec « respect », mais la fonctionnalité a été abandonnée.

Le joueur vétéran faisait partie des Donjon de l’IA aficionados qui ont adopté le jeu comme un outil d’écriture amélioré par l’IA pour explorer les thèmes adultes, y compris dans un groupe d’écriture dédié. Les suggestions indésirables de l’algorithme pourraient être supprimées d’une histoire pour la diriger dans une direction différente; les résultats n’ont pas été publiés publiquement à moins qu’une personne ait choisi de les partager.

Latitude a refusé de partager des chiffres sur le nombre d’aventures contenues dans le contenu sexuel. Le site Web d’OpenAI indique Donjon de l’IA attire plus de 20 000 joueurs chaque jour.

un Donjon de l’IA joueur qui posté la semaine dernière sur une faille de sécurité qui a rendu chaque histoire générée dans le jeu accessible au public dit qu’il a téléchargé plusieurs centaines de milliers d’aventures créées pendant quatre jours en avril. Il a analysé un échantillon de 188 000 d’entre eux et a constaté que 31 p. 100 contenaient des mots suggérant qu’ils étaient sexuellement explicites. Cette analyse et la faille de sécurité, désormais corrigée, ont ajouté à la colère de certains acteurs face à la nouvelle approche de Latitude pour modérer le contenu.

Latitude doit maintenant relever le défi de ressaisir la confiance des utilisateurs tout en répondant aux exigences d’OpenAI pour un contrôle plus strict de son générateur de texte. La start-up doit désormais utiliser la technologie de filtrage d’OpenAI, a déclaré un porte-parole d’OpenAI.

Comment déployer de manière responsable des systèmes d’IA qui ont ingéré de grandes quantités de texte Internet, y compris certaines parties peu recommandables, est devenu un sujet d’actualité dans la recherche sur l’IA. Deux éminents chercheurs de Google ont été forcé de sortir de l’entreprise après que les gestionnaires se sont opposés à une papier faire preuve de prudence à l’aide d’une telle technologie.

La technologie peut être utilisée de manière très limitée, dans la recherche Google où il aide à réduire le sens des longues requêtes. OpenAI a aidé Donjon de l’IA pour lancer une application impressionnante mais lourde que let les gens incitent la technologie à déballer plus ou moins tout ce qu’elle pouvait.

« Il est vraiment difficile de savoir comment ces modèles vont se comporter dans la nature », explique Suchin Gururangan, chercheur à l’Université de Washington. Il a contribué à une étudier et démonstration interactive en ligne avec des chercheurs de l’UW et allen Institute for Artificial Intelligence montrant que lorsque le texte emprunté au web a été utilisé pour inciter cinq modèles différents de génération de langage, y compris de OpenAI, tous étaient capables de cracher du texte toxique.

Gururangan est maintenant l’un des nombreux chercheurs qui tentent de comprendre comment exercer plus de contrôle sur les systèmes linguistiques de l’IA, y compris en étant plus prudent avec le contenu dont ils apprennent. OpenAI et Latitude disent qu’ils travaillent là-sur cela aussi, tout en essayant de faire de l’argent à partir de la technologie.

Cette histoire est apparue à l’origine sur wired.com.