Youtuber Harrison Kinsley a utilisé un outil d’IA nommé GameGAN pour recréer un tronçon d’autoroute de GTA 5. Une vidéo montrant les résultats – nommée GTA5: GAN Theft Auto – vaut le détour.

En utilisant GameGAN, Kinsley a collaboré avec le développeur Daniel Kukieła sur ce projet de deux mois, qui a suivi une idée similaire l’année dernière qui a recréé Pac-Man en regardant une autre IA jouer à travers le jeu.

Aucun des deux collaborateurs n’est venu avec une grande connaissance des GAN, a déclaré Kinsley à fr.techtribune.net. « C’était beaucoup d’essais et d’erreurs et juste de petits ajustements et de voir si et comment ils s’amélioraient. Nous n’avions pas beaucoup de connaissances, nous avions donc beaucoup à apprendre, et nous le faisons toujours. »

GameGAN est un réseau accusatoire génératif créé par Nvidia qui apprend à imiter visiblement un jeu souhaité en ingérant le scénario et les actions au clavier pendant l’entraînement.

Chaque GAN se compose de deux réseaux concurrents – un générateur et un discriminateur. Le générateur est entraîné sur un ensemble de données échantillon (l’autoroute) puis on lui demande de produire du contenu en fonction de ce qu’il a vu. Pendant ce temps, le discriminateur comparera la sortie du générateur avec l’ensemble de données d’origine et, dans le processus, entraînera son homologue à produire un contenu proche du matériel source. Dans ce cas, le matériel source étant GTA 5.

Au total, Kinsley et Kukieła ont formé 30 modèles de suréchantillonnage ainsi que 15 modèles GameGAN avant de s’installer sur un dernier.

« La toute première tentative a fonctionné bien mieux que prévu », a poursuivi Kinsley, « donc c’était dans l’ensemble assez excitant. Nous essayions juste de faire beaucoup d’expérimentations. »

La démo jouable consiste à parcourir un court tronçon d’autoroute dans GTA 5. Il y a des détails impressionnants visibles dans la démo, tels que l’ombre sous la voiture, les reflets précis de la lumière du soleil dans la lunette arrière qui changent au fur et à mesure que la voiture se déplace, et le montagne au loin, qui se rapproche à mesure que la voiture s’approche.

« Nous voulions quelque chose de stimulant et de cool si cela fonctionnait. GTA correspondait bien à ce projet de loi », a déclaré Kinsley. « GTA 5 est aussi un peu un retour en arrière sur un projet que nous avons réalisé il y a quelques années pour faire de la conduite autonome dans GTA 5, où j’ai diffusé l’IA 24h/24 et 7j/7 sur Twitch. »

La paire a entraîné le GAN avec 12 flux de l’autoroute du jeu et, sur la base des données, a appris comment la voiture se déplace et réagit aux commandes. Au début, la voiture ne comprenait pas les limites et franchissait les barrières sur le côté de la route, mais finalement le GAN a compris quoi faire s’il heurtait le côté de la route ou un mur.

En cours de route, cependant, tous les tests n’ont pas été concluants. Le GAN a eu du mal à percuter d’autres véhicules. Dans la vidéo, Kinsley décrit un test où le GAN a divisé une voiture de police en deux lorsque le véhicule principal l’a percuté de plein fouet.

Si vous voulez l’essayer par vous-même, le code et le modèle sont hébergés dans Kinsley’s GitHub.

« Nous pouvons également essayer de le faire fonctionner dans le navigateur afin que personne ne soit obligé d’avoir des connaissances en programmation », a déclaré Kinsley. « Mais nous ne savons pas si cela sera possible et quels ajustements nous devrons apporter pour l’exécuter via quelque chose comme Tensorflow.js. »

Dans les projets futurs, Kinsley et Kukieła sont plus intéressés par la modélisation du monde réel. « Mais nous pourrions finir par faire plus de GTA 5 comme moyen de R&D plus rapide que la vraie vie. »

Il a ajouté: « Je pense que pour nous deux, nous sommes simplement ravis de voir autant de personnes, pas seulement des programmeurs et des passionnés d’IA, aussi enthousiastes à propos de cette technologie et de ce que l’avenir nous réserve. »