Perri Karyal, un diffuseur de jeux vidéo et de vidéos en streaming de variétés, a créé un moyen de jouer à des jeux avec ses ondes cérébrales. Karyal, qui anime une émission régulière sur twitch.tva utilisé un contrôleur personnalisé qui lit signaux d’électroencéphalogramme (EEG) jouer au jeu vidéo populaire Anneau d’Elden depuis le début de cette année. Ce mois-ci, Karyal a présenté une version entièrement mains libres du contrôleur en direct sur son flux.

Karyal dit qu’elle a conçu le système pour reconnaître des modèles reproductibles dans Mesures EEG–des oscillations électriques enregistrées à partir d’un casque placé sur le cuir chevelu d’une personne–et de simuler à leur tour l’action d’appuyer sur un bouton d’une manette de jeu ou d’un clavier. Cela lui permet de la contrôler Anneau d’Elden personnage – balancer des armes, lancer des sorts et esquiver les attaques ennemies – en évoquant ces mêmes schémas d’activité cérébrale.

« J’ai passé plus d’heures à entraîner l’EEG que dans le jeu, et j’ai plus de 250 heures dans le jeu. » —Perri Karyal, streamer de jeux Twitch

Karyal a terminé le jeu en utilisant les premières versions du système, qui ne pouvaient produire qu’un petit nombre d’entrées. Mais elle a depuis étendu sa technologie maison pour reconnaître suffisamment de modèles EEG distincts pour remplacer chaque entrée dont elle a besoin pour jouer au jeu. Lorsqu’il est combiné avec une paire d’écouteurs montés sur casque accéléromètres qui remplacent les mouvements des personnages et les commandes de la caméra, le casque devient un contrôleur de jeu mains libres complet.

Karyal, titulaire d’un diplôme de troisième cycle en psychologie, a créé le système tout en cherchant des moyens de connecter des aspects de la psychologie et des neurosciences aux flux de jeu. Elle a décidé d’utiliser l’EEG, une technologie qu’elle a largement utilisée dans son propre travail universitaire, après avoir appris que versions prêtes à l’emploi étaient accessibles en dehors des hôpitaux et des laboratoires universitaires. « J’ai découvert, par hasard, que vous pouviez obtenir ces EEG Bluetooth », dit-elle. « Je n’en avais aucune idée. C’était dans les limites de mon budget d’équipement, alors je me suis dit : « Je dois essayer ça ».

Pour construire le Anneau d’Elden contrôleur, elle a commencé avec un casque EEG et un logiciel d’accompagnement offert par Émotive, une entreprise de neurotechnologie grand public. Pour convertir les signaux EEG en entrées que le jeu pourrait reconnaître, Karyal a entraîné le logiciel à reconnaître les schémas d’ondes cérébrales qu’elle a générés tout en imaginant différents mouvements physiques. Cette technique, connue sous le nom d’imagerie motrice, recherche des schémas moyens d’activité neuronale dans le cerveau d’une personne alors qu’elle s’imagine en train de bouger son corps selon un schéma reproductible donné. « Je visualisais pousser quelque chose en avant dans ma tête », dit Karyal. « Le schéma d’activité que mon cerveau a produit de manière constante au cours de cette tâche est ce que le logiciel a appris à reconnaître. »

Bien que les signaux EEG soient très variables, des schémas communs en leur sein peuvent être reconnus et décodés à partir d’actions mentales répétées. Karyal dit qu’il faut un certain effort pour produire suffisamment de données pour entraîner efficacement le système à reconnaître un comportement donné. « Pour le Anneau d’Elden, je l’ai entraîné 429 fois à reconnaître une seule activité, m’imaginant pousser quelque chose en avant », dit-elle. « J’ai passé plus d’heures à entraîner l’EEG que dans le jeu, et j’ai plus de 250 heures dans le jeu. »

Afin de vaincre un autre personnage d’Elden Ring, Godrick le greffé [above], Perri Karyal a utilisé une visualisation d’attaque dans laquelle elle s’est imaginée en train de pousser un objet lourd vers l’avant. Tout au long de son jeu, Karyal déplace son personnage via l’inclinaison de sa tête, que son appareil EEG détecte.Perri Karyal

Cependant, Karyal ne veut pas que ces obstacles découragent les gens d’essayer eux-mêmes. « Je ne pense pas que tout ce que j’ai fait jusqu’à présent soit nécessairement difficile à faire, si vous savez ce que vous faites, si vous avez la passion pour cela et que vous voulez vraiment essayer », dit-elle. Karyal ne veut pas non plus que les gens comprennent mal ce que l’appareil lit et enregistre réellement lorsqu’il traduit les signaux EEG en action de contrôleur de jeu. « Les gens supposent que ce sont des pensées, comme, je pense » courir en avant « et mon personnage le fait », dit-elle. « Ce n’est pas le cas, même si j’espère vraiment que nous pourrons en arriver là un jour. »

À l’avenir, Karyal et son équipe espèrent étendre le système pour reconnaître d’autres signaux biométriques comme entrées. « Nous pensons à l’oculométrie », explique Karyal, « en regardant un coin particulier de l’écran, par exemple. Nous devons trouver un moyen simple et rapide de guérir », se référant à Elden Ring’s traitement souvent punitif du personnage du joueur. « Il n’y en a pas actuellement. »

Le contrôleur EEG de Karyal fait partie d’un mouvement plus large de Neurotechnologie DIY, dans lequel les amateurs et les passionnés de neurosciences ont introduit des technologies conçues et largement limitées aux applications académiques et médicales dans une utilisation plus courante et occasionnelle. Au-delà de l’activité amateur, de plus grands développeurs et éditeurs de jeux vidéo ont développé la neurotechnologie dans les jeux vidéo.

Soupapedéveloppeurs du populaire Demi-vie séries et propriétaires de la boutique de jeux PC en ligne Fumeront travaillé avec une société de Réalité virtuelle Varjo et société de neurotechnologie OpenBCI développer la plate-forme d’interface cerveau-ordinateur Deckard. Bien que la société n’ait pas encore publié de jeux explicitement compatibles BCI, le PDG de la société, Gabe Newell, a déclaré dans un entretien 2021 avec IGN, « Si vous êtes un développeur de logiciels en 2022 qui n’a pas [a BCI headset] dans votre laboratoire de test, vous commettez une erreur stupide.