Les chercheurs ont développé une méthode qui utilise la caméra sur le smartphone ou l’ordinateur d’une personne pour prendre son pouls et son signal de respiration à partir d’une vidéo en temps réel de son visage.

Le développement intervient à un moment où la télésanté est devenue un moyen essentiel pour les médecins de fournir des soins de santé tout en minimisant les contacts en personne pendant Covid-19.

Le système de l’équipe dirigée par l’Université de Washington utilise l’apprentissage automatique pour capturer les changements subtils dans la façon dont la lumière se reflète sur le visage d’une personne, ce qui est corrélé à la modification du flux sanguin. Ensuite, il convertit ces changements en pouls et en fréquence respiratoire.

Les chercheurs ont présenté le système en décembre lors de la conférence Neural Information Processing Systems.
Maintenant, l’équipe propose un meilleur système pour mesurer ces signaux physiologiques.

Ce système est moins susceptible d’être déclenché par différentes caméras, conditions d’éclairage ou traits du visage, tels que la couleur de la peau, selon les chercheurs, qui présenteront ces résultats le 8 avril lors de la conférence de l’Association for Computing Machinery (ACM) sur la santé, Interférence et apprentissage.

«Chaque personne est différente», a déclaré l’auteur principal de l’étude Xin Liu, un étudiant au doctorat de l’UW.

« Donc, ce système doit être capable de s’adapter rapidement à la signature physiologique unique de chaque personne, et de la séparer des autres variations, telles que ce à quoi elle ressemble et dans quel environnement elle se trouve. »

La première version de ce système a été formée avec un ensemble de données qui contenait à la fois des vidéos des visages des gens et des informations de «  vérité sur le terrain  »: le pouls et la fréquence respiratoire de chaque personne mesurés par des instruments standard sur le terrain.

Le système a ensuite utilisé les informations spatiales et temporelles des vidéos pour calculer les deux signes vitaux.

Bien que le système fonctionne bien sur certains ensembles de données, il a encore du mal avec d’autres contenant des personnes, des arrière-plans et un éclairage différents. Il s’agit d’un problème commun connu sous le nom de «sur-ajustement», a déclaré l’équipe.

Les chercheurs ont amélioré le système en lui faisant produire un modèle d’apprentissage automatique personnalisé pour chaque individu.

Plus précisément, il permet de rechercher des zones importantes dans une image vidéo qui contiennent probablement des caractéristiques physiologiques corrélées à la modification du flux sanguin d’un visage dans différents contextes, tels que différents tons de peau, conditions d’éclairage et environnements.

À partir de là, il peut se concentrer sur cette zone et mesurer le pouls et la fréquence respiratoire.

Bien que ce nouveau système surpasse son prédécesseur lorsqu’il est doté d’ensembles de données plus complexes, en particulier pour les personnes à la peau plus foncée, il reste encore du travail à faire, a déclaré l’équipe.

(Avec les contributions des agences)