L'équipe Google DeepMind a développé un agent d'IA appelé SIMA (Scalable Instructable Multiworld Agent) qui effectue des tâches dans une grande variété de jeux vidéo. Ce qui est unique dans cette évolution, c'est que pour la première fois, un agent général de l'IA peut suivre les instructions de l'utilisateur pour effectuer diverses tâches dans un large éventail de jeux virtuels, tout comme les humains.

L'agent IA n'a pas été formé sur un jeu vidéo individuel limité à cet environnement. SIMA est plutôt formé à plusieurs jeux vidéo, ce qui en fait un agent généraliste, polyvalent et multi-mondes. Le SIMA de Google DeepMind démontre qu'il peut comprendre des mondes de jeu inédits et exécuter des actions comme les humains.

Google s'est associé à huit studios de jeux pour créer l'agent SIMA. Il est formé sur neuf jeux vidéo 3D, dont Le ciel de No Man par Hello Games, Teardown par Tuxedo Labs, Valheim, et plus encore. L'agent acquiert de nouvelles compétences dans chaque environnement, comme extraire des ressources, naviguer dans le monde, piloter un vaisseau spatial, etc. Le modèle n'est pas conçu pour obtenir le score le plus élevé du jeu, mais il peut plutôt être un compagnon capable d'accomplir des tâches en fonction de votre instructions.

De plus, Google DeepMind affirme que SIMA a été formé sur les images et les instructions en langage naturel. Il peut contrôler le gameplay à l’aide des sorties clavier et souris. Il a acquis presque 600 compétences ainsi, de la navigation à l'interaction avec les objets en passant par l'ouverture de la carte, il peut presque tout faire dans un environnement virtuel en 10 secondes. L’équipe souhaite créer des agents IA capables de planifier et d’effectuer des actions.

En comparaison avec les agents spécialisés formés sur un jeu individuel, SIMA les surpasse tous. Vous pouvez lire le rapport technique sur SIMA par l'équipe Google DeepMind pour comprendre le fonctionnement de l'agent. Bien qu'il s'agisse d'un agent IA effectuant des tâches dans un monde virtuel, l'application d'un tel agents d'IA généralisés peut être d’une immense valeur en robotique, marquant un changement de paradigme dans le monde réel.