Crédit : The Wild Beyond the Witchlight, Donjons et Dragons

Dungeons & Dragons (D&D) est un jeu de rôle se déroulant dans un monde médiéval fantastique où les joueurs se réunissent pour accomplir des tâches spécifiques. L’utilisation de la narration et de l’imagination sont des concepts du jeu qui permettent aux joueurs de partir à l’aventure et d’atteindre différents objectifs.

Jouer à D&D va au-delà de la créativité et de la réflexion stratégique. Cela a donné aux joueurs la possibilité d’avoir un sentiment d’appartenance à une communauté. Un article de Jeux d’outsider fait ressortir le point : « Les avantages de jouer à Donjons et Dragons vont bien au-delà du simple plaisir. D&D offre aux joueurs l’opportunité de développer leurs compétences socio-émotionnelles, de renforcer leur confiance et d’apprendre à s’exprimer.

Un groupe de chercheurs dirigé par Jay Pujara, Pei Zhou et Xiang Ren de l’Institut des sciences de l’information de l’USC travaille à améliorer les compétences humaines de l’IA dans le jeu.

« Un défi intéressant est l’idée qu’un agent d’IA a la capacité de jouer à un jeu avec vous, même si de nombreuses compétences humaines sont impliquées, telles que la connaissance du bon sens et le fonctionnement du monde », a déclaré Pujara, responsable de la recherche.

L’un des facteurs les plus importants de cette recherche concerne les connaissances et la quantité de connaissances qui peuvent être mises en œuvre dans ces agents d’IA pour les rendre les plus utiles en tant que maître de donjon.

« Fusionner les connaissances de bon sens et les connaissances sur le fonctionnement du monde sont quelques-uns des objectifs que nous nous sommes fixés pour ce travail. Nous avons utilisé de nombreux articles sur les agents de dialogue comme guide pour mieux nous aider à comprendre les intentions et les conversations entre ces agents.

Le maître du donjon

D&D comprend un Dungeon Master (DM) et un ensemble unique de personnages qui ont chacun un rôle spécifique dans le jeu. Le DM est le narrateur principal du jeu – chargé de présenter aux personnages des situations uniques à travers des dialogues qui doivent être interprétés. Tandis que les personnages ont pour objectif d’interpréter le dialogue et de travailler ensemble pour accomplir les quêtes et survivre.

Les chercheurs voulaient approfondir la façon dont les DM réagissent et interagissent avec les joueurs et vice versa ; par conséquent, suscitant la question centrale de la recherche : L’intégration de l’intention et de la théorie de l’esprit (ToM) fait-elle des modèles informatiques de meilleurs communicateurs ?

« Nous avons proposé cette tâche (c’est-à-dire l’interaction enseignant-élève) où le scénario est axé sur un objectif. Nous avons utilisé Donjons & Dragons comme environnement pour ancrer cette tâche parce que nous voulions étudier si nous pouvions former ce modèle d’enseignant qui guiderait les étudiants en utilisant leur esprit », a expliqué Zhou, assistant de recherche à l’ISI.

« Parce que lorsque nous communiquons, le véritable objectif est que chacun converge idéalement vers le même ensemble d’idées. Dans D&D, nous voulons un monde cohérent entre nous grâce à la communication, et pour y parvenir, nous devons avoir un modèle de ce que vous avez en tête. Pujara a ajouté.

Pour que le dialogue soit interprété correctement à la fois par l’élève et par l’enseignant, « G4C : Générer des conseils dans une communication axée sur les objectifs et fondée » a été proposé. Une tâche composée d’intention, d’orientation et d’énoncé.

L’intention est l’action que le MD entreprend pour guider les joueurs vers un objectif spécifique – c’est-à-dire que le MD veut que les joueurs détectent la présence de quelque chose. Le guidage est l’action que le DM entreprend pour que le joueur accomplisse une tâche spécifique – c’est-à-dire que vous insinuez qu’il y a des mouvements dans les buissons, donc un joueur fait en sorte que l’action regarde les buissons. Les énoncés sont l’action d’expression où l’intention correspond à l’action anticipée du joueur.

«Les joueurs entreprendront des actions telles que vérifier leur environnement en fonction de ce que le DM leur a demandé de faire. Maintenant, nous avons posé la question ‘Pouvons-nous entraîner un modèle d’IA ayant l’intention de générer un énoncé dans une conversation afin que les joueurs puissent réaliser cette intention ?‘», a ajouté Zhou.

C’est là qu’une grande partie de la créativité et de la narration entre en jeu dans D&D.

« Si je vous dis simplement de vérifier ces buissons, cela ne ferait pas un bon jeu, donc la narration entre en jeu pour créer une scène évocatrice et la connecter à l’action que je veux que le joueur fasse », a déclaré Pujara.

Théorie de l’esprit (ToM)

La théorie de l’esprit (ToM) est l’idée de comprendre que les gens agissent d’une manière motivée par leurs désirs et leurs croyances. Cela nous permet de comprendre que tous ne partagent pas les mêmes pensées et sentiments. Plus précisément, cette compétence cognitive sociale permet de comprendre d’autres états mentaux : croyances, intentions, désirs, émotions et connaissances.

D&D présente des scénarios dans lesquels l’IA doit non seulement comprendre l’objectif, mais elle doit également avoir un plan pour réfléchir à la manière dont ses actions vont conduire à la réussite de l’objectif.

Pujara a déclaré : « Une partie importante de cette recherche est l’architecture : nous essayons de comprendre ce qu’est la connaissance implicite dans un dialogue. Nous avons ajouté la théorie de l’esprit pour comprendre efficacement à quoi on pense.

L’objectif général de ToM est de comprendre ce qui se passe dans la tête d’un autre individu. Dans une direction future, il s’agit d’un élément important à considérer lorsque l’on tente d’accomplir des tâches difficiles (par exemple, une personne ayant une déficience perceptuelle essayant de se déplacer dans la maison).

Ceci est important dans toute communication humaine car ces agents sont capables de lire entre les lignes et de comprendre les implications des tâches du jeu.

Les défis

D&D est sans aucun doute un jeu compliqué qui nécessite la mémorisation et la maîtrise des règles. Ainsi, rencontrer des défis dans les données était inévitable dans l’étude.

Pujara a déclaré : « L’un des plus grands défis est que vous devez d’abord exposer votre système aux données D&D. Nous avons collecté un grand nombre de transcriptions de personnes jouant en ligne. Cependant, nous avons tous dû analyser cela car il n’y avait aucune donnée mettant en évidence l’intention et la ToM.

L’objectif principal de la collecte de données est de rassembler les expressions et phrases clés qui incitent un joueur à accomplir une action dans le jeu. Pujara a mentionné que ce travail a été inspiré par le langage de renforcement – ​​un terme robotique qui nécessite l’apprentissage d’un comportement dans un environnement pour obtenir une récompense (c’est-à-dire déplacer un bras robotique vers un point particulier et déterminer le chemin de début/fin).

«Nous avons en quelque sorte fait la même chose pour D&D, mais nous avons travaillé à rebours. Nous savions ce que la personne faisait et avons compris ce que le DM avait dit pour l’inciter à le faire. Pujara a ajouté.

« Nous nous sommes demandé : quelles sont les possibilités ? comment obtenir une bonne évaluation ? Qu’est-ce qui fait une bonne session D&D ? – tout cela était difficile parce que personne ne vous fournit les données parfaitement. dit Pujara.

Ces défis sont visibles dans l’ensemble du paysage de l’IA et dans la façon dont elle se transforme rapidement. Pujara a évoqué l’idée qu’une orientation future de la recherche consiste à essayer de comprendre comment ils peuvent avoir différents modèles possédant divers ensembles de compétences telles que des connaissances émotionnelles et logistiques.

Modèle principal du donjon étoilé

L’étude a donné aux chercheurs beaucoup de temps pour réfléchir à ce qui fait un bon Dungeon Master. En général, un bon DM est celui qui connaît les règles et les références du jeu ; ainsi que de définir le bon niveau de difficulté.

« Nous avons une métrique appelée modèle star DM qui va en fait avoir différentes capacités d’un humain – aisance, ancrage et orientation. »

La maîtrise est l’action importante qui consiste à rendre le DM semblable à un message humain et convaincant. L’ancrage est l’action de donner du sens car il ne peut pas parler de choses qui n’ont aucun rapport avec le monde fantastique médiéval. L’orientation est l’action d’aider les autres à atteindre leurs objectifs et à accomplir les tâches initialement prévues.

« Ce n’était pas aussi simple qu’un scénario pouce levé/pouce baissé. Nous avons tout rassemblé pour vérifier ce qui fait un bon DM. Peut-être qu’à l’avenir, nous pourrons présenter une campagne D&D de 20 heures pour collecter plus de données afin de créer un DM encore meilleur. Pujara a ajouté.

La combinaison de la création d’un Dungeons & Dragons Dungeon Master est une opportunité passionnante pour les chercheurs car c’est une façon amusante de résoudre des problèmes difficiles d’IA et d’explorer le spectre des capacités nécessaires pour fonctionner dans le monde.

LCA 2023

Pei Zhou de l’USC Viterbi Information Sciences Institute (ISI), assistant de recherche à l’ISI, Andrew Zhu, diplômé en génie informatique de l’Université de Pennsylvanie, Jennifer Hu, chercheuse à l’Institut Harvard Kempner, Jay Pujara, responsable de la recherche à l’ISI, Xiang Ren, responsable de recherche à l’ISI, Chris Callison-Burch, professeur agrégé d’informatique et de sciences de l’information à l’Université de Pennsylvanie, Yejin Choi, professeur d’informatique à l’Université de Washington, et Prithviraj Ammanabrolu, chercheur à l’Allen Institute for Artificial Intelligence présente un article sur Je lance des pensées détectées : apprendre à converser et à guider avec des intentions et la théorie de l’esprit dans Donjons et Dragons au 61e réunion annuelle de l’Association pour la linguistique computationnelle (ACL’23).

ACL est la première société scientifique et professionnelle pour les personnes travaillant sur des problèmes informatiques impliquant le langage humain, un domaine souvent appelé linguistique informatique ou traitement du langage naturel.

TL’événement a lieu à Toronto, Canada depuis Du 9 juillet au 14 juillet 2023.

Publié le 14 juillet 2023

Dernière mise à jour le 14 juillet 2023