Speech Graphics, basé à Édimbourg, et des chercheurs américains de l’UC San Francisco (UCSF) et de l’UC Berkeley affirment avoir créé la première interface cerveau-ordinateur au monde qui produit électroniquement la parole et les expressions faciales à partir de signaux cérébraux.
Ce développement ouvre la voie à la restauration d’une communication naturelle pour ceux qui ne peuvent pas parler.
Les experts expliquent que le même logiciel utilisé pour piloter l’animation faciale dans des jeux tels que Le dernier d’entre nous, partie II et L’héritage de Poudlard transforme les ondes cérébrales en un avatar numérique parlant.
La recherche a permis de décoder les signaux cérébraux de la femme Ann en trois formes de communication : texte, voix synthétique et animation faciale sur un avatar numérique, y compris la synchronisation labiale et les expressions émotionnelles.
Selon les chercheurs, c’est la première fois qu’une animation faciale est synthétisée à partir de signaux cérébraux.
L’équipe était dirigée par le président du département de chirurgie neurologique de l’UCSF, Edward Chang, qui a passé une décennie à travailler sur les interfaces cerveau-ordinateur.
Il a déclaré : « Notre objectif est de restaurer une manière de communiquer complète et incarnée, qui est vraiment la manière la plus naturelle pour nous de parler avec les autres. Ces progrès nous rapprochent beaucoup plus d’en faire une véritable solution pour les patients.
Un rectangle mince comme du papier, composé de 253 électrodes, a été implanté à la surface du cerveau de la femme, sur des zones que l’équipe du Dr Chang a découvertes comme étant essentielles à la parole. Les électrodes ont intercepté les signaux cérébraux qui, sans l’accident vasculaire cérébral, auraient été transmis aux muscles de sa langue, de sa mâchoire, de son larynx et de son visage.
Un câble, branché sur un port fixé sur la tête de la femme, reliait les électrodes à une banque d’ordinateurs, permettant d’entraîner pendant plusieurs semaines des algorithmes d’intelligence artificielle (IA) à reconnaître l’activité cérébrale associée à un vocabulaire de plus de 1 000 mots.
Les chercheurs ont travaillé avec Michael Berger, CTO et co-fondateur de Speech Graphics.
La technologie d’animation faciale basée sur l’IA de la société simule les contractions musculaires au fil du temps, y compris les articulations de la parole et l’activité non verbale.
Dans une approche, l’équipe a utilisé la voix synthétisée du sujet comme entrée dans le système Speech Graphics à la place de sa voix réelle pour piloter les muscles.
Le logiciel a ensuite converti les actions musculaires en animation 3D dans un moteur de jeu vidéo.
Le résultat était un avatar réaliste du sujet qui prononçait les mots avec précision.
Cependant, dans une deuxième approche encore plus révolutionnaire, les signaux du cerveau ont été directement intégrés aux muscles simulés, leur permettant de servir de contrepartie aux muscles non fonctionnels du sujet.
L’étude publiée dans Nature.
