Gran Turismo."/>Clive Rose – Gran Turismo/Gran Turismo via Getty Images
Une équipe de chercheurs de Sony AI a utilisé l’apprentissage par renforcement profond pour apprendre à une intelligence artificielle à jouer Gran Turismo à un niveau de classe mondiale. Alors que les expériences précédentes ont enseigné à l’IA comment conduire très vite, c’est la première fois que l’on apprend à réellement courir. Et pour le prouver, l’IA a battu certains des meilleurs au monde GT les joueurs en compétition directe, comme décrit dans un nouveau document publié dans Nature cette semaine.
La course n’est pas facile, et cela implique plus que de savoir conduire une voiture très vite. Le contrôle de la voiture est évidemment important, mais il en va de même pour la tactique, la stratégie et le concept quelque peu nébuleux de l’étiquette.
Ou, comme le disent les auteurs, «[a]La course utomobile est un domaine qui pose exactement ces défis; il nécessite un contrôle en temps réel des véhicules avec une dynamique complexe et non linéaire tout en fonctionnant à quelques centimètres des adversaires. Certains conducteurs peuvent avoir un succès limité par l’agressivité et aller pour chaque opportunité de dépassement qu’ils voient. Mais savoir où passer et quand attendre une meilleure opportunité – pour ne pas être re-dépassé à la fin de la prochaine ligne droite, par exemple – est au moins aussi important, tout comme savoir quand céder à un rival pour ne pas se retrouver dans le mur ou un piège à gravier.
Créer des adversaires d’IA réalistes pour les jeux de course n’est pas particulièrement facile, comme les fans du genre peuvent vous le dire. L’approche la plus avancée que nous ayons vue jusqu’à présent a peut-être été dans le Forza Motorsport , qui a en fait commencé sa vie comme un projet de réseau neuronal chez Microsoft Research. Depuis 2005, Forza les jeux ont utilisé les données des joueurs humains pour former les PNJ, bien qu’avec beaucoup d’incidents au premier tour en cours de route.
Clive Rose – Gran Turismo/Gran Turismo via Getty Images
Les adversaires de l’IA n’ont pas été une force de l’ Gran Turismo franchise dans le passé; en général, ils sont restés fidèles à la ligne de course et ont rarement offert beaucoup de défis, même aux joueurs humains de capacité moyenne. Il est donc d’autant plus remarquable que Sony AI ait pu entraîner une IA appelée GT Sophy pour surpasser les coureurs e-sports de niveau championnat.
Les agents d’IA ont été formés avec un certain nombre de scénarios sur trois combinaisons de voitures et de pistes dans Gran Turismo: Sport (Dragon Trail Seaside dans une voiture de route haute performance, Lago Maggiore GP dans une voiture Gr3 et Circuit de la Sarthe dans une voiture de compétition Redbull X2019). Certaines races avaient l’agent d’IA sur la piste seule, et d’autres ont ajouté jusqu’à sept adversaires PNJ de jeu normal. Les positions de piste, les vitesses de départ, l’espacement entre les voitures et les niveaux de compétence des adversaires ont tous été aléatoires pour chaque course.
L’agent AI contrôlait la direction, ainsi que le freinage et l’accélération (mais pas les deux simultanément) et ne changeait pas manuellement de vitesse et n’ajustait pas le contrôle de traction ou le biais de freinage. Et il a interagi avec le jeu à 10 Hz, ce qui, selon les auteurs, ne devrait pas lui donner un avantage sur les joueurs professionnels ou les athlètes.
L’IA a été récompensée en fonction de sa progression sur la piste depuis la dernière observation, et elle a reçu un bonus pour avoir dépassé une autre voiture. Des pénalités ont été accordées pour avoir coupé des coins, heurté des murs ou glissé des pneus. Il devait également éviter les PNJ arrière ou toute autre collision, tous ces critères étant pondérés différemment pour sélectionner l’IA de course optimale.
Clive Rose – Gran Turismo/Gran Turismo via Getty Images
Apprendre à se déplacer sur la piste n’a nécessité que quelques heures d’entraînement, et en un jour ou deux, GT Sophy était meilleur qu’environ 95% des GT : Le sport Joueurs. Après 10 jours, soit 45 000 heures de conduite au total, gt Sophy « a réalisé des performances surmontrées en contre-la-montre sur les trois pistes ». En fait, les humains n’étaient proches que des performances de GT Sophy sur la piste Maggiore, où ses temps au tour constants étaient à peu près égaux au meilleur tour humain enregistré.
Mais comme cela a déjà été mentionné, d’autres IA ont appris à établir des temps au tour très rapides par elles-mêmes, dans des jeux ou même dans de vraies voitures sur de vraies pistes. Pour prouver les compétences de GT Sophy, il a affronté certains des meilleurs au monde GT : Le sport Joueurs. Le premier test humain contre IA a eu lieu en juillet 2021, lorsque Emily Jones, Valerio Galloet Igor Fraga ont été invités à battre les temps au tour de GT Sophy dans un contre-la-montre. Bien qu’il ait pu voir un fantôme sur les genoux de l’IA, aucun n’a pu le battre.
Fait intéressant, GT Sophy avait identifié certaines lignes de course qui avaient échappé même aux meilleurs joueurs humains du monde. Jones a été battu par le temps au tour de l’IA à Dragon Trail, 107,964 secondes contre 106,417 secondes. « Il y avait certains coins où je sortais large puis je réduisais, et l’IA entrait tout autour, alors j’ai beaucoup appris sur les lignes », a-t-elle déclaré. « Et aussi savoir ce qu’il faut prioriser. En entrant dans le virage 1 par exemple, je freinais plus tard que l’IA, mais l’IA obtenait une bien meilleure sortie que moi et me battait au virage suivant. Je ne l’ai pas remarqué jusqu’à ce que je voie l’IA et que je me dise : « OK, je devrais faire ça à la place. »
