Une équipe de chercheurs de Caltech, Stanford, l’Université du Texas et NVIDIA ont construit et partagé un agent logiciel nommé Voyager qui joue à Minecraft avec des informations et des renseignements fournis par GPT-4. Voyager apprend, se souvient et montre ce que l’équipe appelle « une compétence exceptionnelle pour jouer à Minecraft », obtenant 3 fois plus d’objets, voyageant 2 fois plus loin et déverrouillant des jalons 15 fois plus rapidement que les agents logiciels de pointe précédents.

C’est aussi très bon pour innover.

« Voyager est capable d’utiliser la bibliothèque de compétences apprises dans un nouveau monde Minecraft pour résoudre de nouvelles tâches à partir de zéro, tandis que d’autres techniques ont du mal à se généraliser », ont déclaré les chercheurs. rapport.

À ce stade, nous devons commencer à nous demander : y a-t-il quelque chose que GPT-4 ne peut pas faire ? Le grand modèle de langage phare d’OpenAI est mieux que la plupart des avocats au passage de la barre, se classe dans le 88e centile à l’écriture du LSAT, le 99e centile au passage du GRE, transforme un dessin en un site fonctionnelaide les développeurs de logiciels à coder et imite les styles des auteurs lors de l’écriture.

Bien sûr, les grands modèles linguistiques ont tendance à halluciner et à créer des données aléatoires, comme l’a découvert un avocat qui aurait utilisé ChatGPT pour faire des recherches plutôt péniblement.

Le projet Voyager montre cependant qu’en associant les capacités de GPT-4 à un logiciel agent qui stocke les séquences qui fonctionnent et se souvient de ce qui ne fonctionne pas, les développeurs peuvent obtenir des résultats étonnants.

« Les compétences développées par Voyager sont temporellement étendues, interprétables et compositionnelles, ce qui augmente rapidement les capacités de l’agent et atténue l’oubli catastrophique », rapportent les chercheurs.

Ce qui est intéressant avec Minecraft, c’est que c’est un jeu en monde ouvert. Il n’y a pas d’objectifs prédéterminés, de niveaux requis ou de scénarios fixes. Cela récompense l’exploration ouverte et nécessite des compétences assez générales et un large éventail d’apprentissages. Cela nécessite également un certain niveau de motivation pour explorer et rechercher de nouvelles tâches, que les chercheurs ont fournies en générant un «programme» via GPT-4 axé sur la découverte.

Au fur et à mesure que Voyager apprenait de nouvelles choses, ses développeurs stockaient des capacités dans une «bibliothèque de compétences» via un programme également généré par GPT-4.

Rassemblez le tout avec un mécanisme d’incitation itératif qui s’auto-corrige, et les chercheurs ont obtenu des capacités significatives par rapport aux agents logiciels précédents qui n’utilisaient pas GPT-4.

«Par rapport aux lignes de base, Voyager déverrouille le niveau en bois 15,3 fois plus rapidement (en termes d’itérations d’incitation), le niveau en pierre 8,5 fois plus rapidement, le niveau en fer 6,4 fois plus rapidement et Voyager est le seul à déverrouiller le niveau diamant de la technologie. arbre », rapportent les chercheurs.

Voyager apprend également avec succès de nouvelles tâches, fabriquant avec succès des pioches en diamant, des épées dorées, des seaux de lave et des boussoles sans formation ni connaissances préalables.

Les chercheurs et conseillers du projet sont Guanzhi Wang de NVIDIA et CalTech, Yuqi Xie de l’Université du Texas, Austin, Yunnan Jiang de Stanford, Ajay Mandlekar de NVIDIA, Chaowei Xiao1 de NVIDIA et ASU, Yuke Zhu de NVIDIA, Linxi « Jim  » Fan chez NVIDIA, et Anima Anandkumar chez NVIDIA et Caltech.

Suivez-moi sur Twitter ou LinkedIn. Vérifier mon site Internet ou certains de mes autres travaux ici.