Boffins a trouvé un rôle pour les chatbots d’IA où les hallucinations habituelles ne sont pas nécessairement un handicap.

Ces têtes d’œufs – basées à l’Université de Pennsylvanie et à l’Université du Maryland aux États-Unis – ont fait appel aux grands modèles de langage (LLM) d’OpenAI pour les aider dans les jeux de rôle fantastiques, en particulier Dungeons & Dragons (D&D).

Dans un papier préimprimé intitulé « CALYPSO : LLMs as Dungeon Masters’ Assistants », Andrew Zhu, doctorant à l’UPenn ; Lara Martin, maître de conférences à l’UMD ; Andrew Head, professeur adjoint à UPenn ; et Chris Callison-Burch, professeur agrégé à l’UPenn, expliquent comment ils ont utilisé les LLM pour améliorer un jeu qui dépend fortement de l’interaction humaine.

D&D est apparu pour la première fois en 1974 en tant que jeu de rôle (RPG) dans lequel les joueurs assumaient le rôle de héros médiévaux aventuriers et jouaient ces personnalités sous un scénario dirigé par un maître de donjon (DM) ou un maître de jeu (GM). Les conditions préalables étaient un ensemble de règles – publiées à l’époque par Tactical Studies Rules – des dés polyédriques, un crayon, du papier et un engagement partagé envers la narration interactive et la théâtralité modeste. Les collations, techniquement facultatives, doivent être prises en compte.

Parallèlement à ces jeux de rôle sur table, la prolifération des ordinateurs personnels dans les années 1980 a conduit à diverses versions informatisées, à la fois en termes de jeu assisté par ordinateur et de simulations entièrement électroniques – comme le récent Porte de Baldur 3pour ne citer que l’un des centaines de titres inspirés de D&D et d’autres RPG.

Les joueurs académiques de l’UPenn et de l’UMD ont cherché à voir comment les LLM pourraient soutenir les DM humains, qui sont chargés de mettre en scène l’aventure mutuellement imaginée, de lancer les dés qui déterminent les résultats de certaines actions, de faire respecter les règles ( qui sont devenus assez étendus), et pour s’assurer généralement que l’expérience est amusante et divertissante.

Pour ce faire, ils ont créé un ensemble de trois interfaces alimentées par LLM, appelées CALYPSO – qui signifie Collaborative Assistant for Lore and Yielding Plot Synthesis Objectives. Il est conçu pour jouer à D&D en ligne via Discord, le service de chat populaire.

« Lorsqu’ils ont eu accès à CALYPSO, les DM ont signalé qu’il générait un texte haute fidélité adapté à une présentation directe aux joueurs, et des idées basse fidélité que le DM pourrait développer davantage tout en conservant leur agence créative », explique le journal. « Nous considérons CALYPSO comme un exemple d’un paradigme d’outils augmentés par l’IA qui fournissent une assistance créative synchrone dans les mondes de jeu établis et les jeux de table plus largement. »

La pandémie de COVID-19 a déplacé certains jeux de table en ligne en personne, observent les chercheurs dans leur article, et de nombreux joueurs qui jouent via Discord le font avec Avraé – un bot Discord conçu par Andrew Zhu, doctorant à l’UPenn et co-auteur de l’article CALYPSO.

« Les idées de base de l’article (que les LLM sont capables d’agir en tant que co-DM de manière à inspirer le DM humain sans prendre le contrôle créatif du jeu) s’appliquent à D&D et aux autres jeux de table, quelle que soit la modalité. Mais il y a encore quelques défis à surmonter avant d’appliquer la technologie aux jeux en personne », a déclaré Zhu dans un e-mail à Le registre.

Zhu et ses collègues se sont concentrés sur le jeu Discord play-by-post (PBP) pour plusieurs raisons. Premièrement, « le PBP basé sur Discord est déjà basé sur du texte, nous n’avons donc pas à passer du temps à transcrire la parole en texte pour un LLM », a-t-il expliqué.

La configuration en ligne permet également au DM de visualiser la sortie générée par LLM en privé (où les « idées basse fidélité » importent moins) et cela évite au DM d’avoir à taper ou à dicter dans une interface.

CALYPSO, un Discord bot avec code source, est décrit dans l’article comme ayant trois interfaces : une pour générer le texte de configuration décrivant une rencontre (GPT-3) ; un pour le brainstorming ciblé, dans lequel le DM peut demander au LLM des questions sur une rencontre ou affiner un résumé de rencontre (ChatGPT) ; et un pour le chat en domaine ouvert, dans lequel les joueurs peuvent s’engager directement avec ChatGPT agissant comme une créature fantastique connaissant bien D&D.

La configuration de ces interfaces impliquait d’ensemencer le LLM avec des invites spécifiques (détaillées dans l’article) qui expliquent comment le chatbot doit répondre dans chaque rôle d’interface. Aucune formation de modèle spécifique n’était nécessaire pour intégrer le fonctionnement de D&D.

« Nous avons constaté que même sans formation, la série de modèles GPT en sait beaucoup sur D&D en ayant vu des livres sources et des discussions sur Internet dans ses données de formation », a déclaré Zhu.

Nous avons constaté que même sans formation, la série de modèles GPT en savait beaucoup sur D&D en ayant vu des livres sources et des discussions sur Internet.

Zhu et ses collègues ont testé CALYPSO avec 71 joueurs et DM, puis les ont interrogés sur l’expérience. Ils ont trouvé l’assistant d’IA utile le plus souvent.

Mais il y avait place à l’amélioration. Par exemple, lors d’une rencontre, CALYPSO a simplement paraphrasé les informations dans l’invite de paramètres et de statistiques, ce qui, selon les DM, n’apportait aucune valeur ajoutée.

Le registre a demandé à Zhu si la tendance des LLM à « halluciner » – inventer des choses – était un problème pour les participants à l’étude.

« Dans un contexte créatif, cela devient un peu moins significatif – par exemple, les livres de référence D&D ne contiennent pas tous les détails sur chaque monstre, donc si un LLM affirme qu’un certain monstre a une certaine fourrure colorée, cela compte-t-il comme une hallucination ? » dit Zhu.

« Pour répondre directement à la question, oui ; le modèle « invente » souvent des faits sur les monstres qui ne figurent pas dans les livres sources. La plupart d’entre eux sont des choses insignifiantes qui aident réellement le MD, comme le son de l’appel d’un monstre ou la forme de l’iris d’un monstre ou des choses comme ça. Parfois, moins souvent, cela hallucine des faits plus dramatiques, comme dire que les salamandres des givres ont des ailes (elles n’en ont pas).

Un autre problème qui a surgi était que les garanties de formation des modèles interféraient parfois avec la capacité de CALYPSO à discuter de problèmes qui seraient appropriés dans un jeu de D&D – comme la race et le gameplay.

« Par exemple, le modèle refusait parfois de suggérer des races (fantastiques), probablement en raison d’efforts visant à réduire le potentiel de préjugés raciaux dans le monde réel », observe le document. « Dans un autre cas, le modèle insiste sur le fait qu’il est incapable de jouer à D&D, probablement en raison d’efforts pour empêcher le modèle de revendiquer des capacités qu’il ne possède pas. »

(Oui, nous sommes sûrs que certains d’entre nous y sont déjà allés, niant toute connaissance des RPG malgré des années de jeu.)

Zhu a déclaré qu’il était clair que les gens ne voulaient pas d’un DM IA, mais qu’ils étaient plus disposés à permettre aux DM de s’appuyer sur l’aide de l’IA.

« Au cours de nos études formatives, un thème commun était que les gens ne voulaient pas d’un AI DM autonome, pour plusieurs raisons », a-t-il expliqué. « Premièrement, de nombreux joueurs que nous avons interrogés avaient déjà joué avec des outils comme AI Dungeon et connaissaient les faiblesses de l’IA dans la narration à long contexte. Deuxièmement, et plus important encore, ils ont déclaré qu’avoir un AI DM autonome enlèverait l’esprit du jeu ; puisque D&D est un jeu de narration créatif dans l’âme, avoir une IA pour générer cette histoire semblerait mal.

« Le fait que CALYPSO soit une chose facultative que les DM pouvaient choisir d’utiliser autant ou aussi peu qu’ils le voulaient aidait à garder la balle créative dans le camp du DM humain ; souvent, ce qui se passait, c’est que CALYPSO donnait au DM juste assez de coup de pouce pour casser une fois que le DM humain a senti qu’il voulait plus de contrôle sur la scène, il pouvait simplement continuer à DM dans son propre style sans utiliser CALYPSO du tout.  » ®