Le dispositif FingerTrak utilise quatre petites caméras thermiques et l’apprentissage automatique pour capturer avec précision la position tridimensionnelle de la main et des doigts humains, ce qui est potentiellement utile pour la traduction en langue des signes ou le diagnostic des maladies. Gracieuseté de l’Université Cornell
Des chercheurs de l’Université du Wisconsin – Madison et de l’Université Cornell ont mis au point un appareil monté sur le poignet qui suit avec précision les mouvements des doigts et des mains à l’aide de quatre minuscules caméras.
Le bracelet aide à résoudre un problème technologique difficile – le suivi de la main humaine – et a des applications potentielles pour traduire le langage des signes, la réalité virtuelle, la santé mobile et les interactions entre humains et robots. Les chercheurs ont baptisé leur appareil FingerTrak. Il peut détecter et traduire en 3D les nombreuses positions de la main humaine, y compris 20 positions des articulations des doigts.
Yin Li
Cheng Zhang, professeur de sciences de l’information à l’Université Cornell, a dirigé les travaux en collaboration avec Yin Li, professeur de biostatistique et d’informatique médicale à l’UW School of Medicine and Public Health. Li a contribué au logiciel sous-jacent FingerTrak.
Les chercheurs publié leurs travaux en juin dans les Actes de l’ACM sur les technologies interactives, mobiles, portables et omniprésentes. Il sera également présenté à la conférence conjointe internationale 2020 de l’Association for Computing Machinery sur l’informatique omniprésente et omniprésente, qui aura lieu pratiquement du 12 au 16 septembre.
Chacune des quatre petites caméras du bracelet, de la taille d’un pois, prend plusieurs images de silhouette pour former un contour de la main. Un réseau neuronal profond assemble ensuite ces images de silhouette et reconstruit la main virtuelle en trois dimensions. Grâce à cette méthode, les chercheurs ont pu capturer toute la pose de la main, même lorsque la main tient un objet.
Chacune des quatre petites caméras du bracelet, de la taille d’un pois, prend plusieurs images de silhouette pour former un contour de la main. Un réseau neuronal profond assemble ensuite ces images de silhouette et reconstruit la main virtuelle en trois dimensions. Animation avec l’aimable autorisation de l’Université Cornell.
En plus des applications potentielles en langue des signes ou en réalité virtuelle, Li dit que des mesures précises des mouvements de la main pourraient améliorer le diagnostic de la maladie.
«La façon dont nous bougeons nos mains et nos doigts révèle souvent notre état de santé», dit Li dans un communiqué de presse de Cornell. «Un appareil comme celui-ci pourrait être utilisé pour mieux comprendre comment les personnes âgées utilisent leurs mains dans la vie quotidienne, aidant à détecter les premiers signes de maladies comme la maladie de Parkinson et la maladie d’Alzheimer.»
En savoir plus sur la technologie et ses utilisations potentielles sur Site Web de l’Université Cornell.
