Au fil des ans, de nombreux titres ont fait la une des journaux concernant des adolescents tués, mutilés ou gravement blessés parce qu’ils portaient des écouteurs et qu’ils ne prêtaient pas attention à leur environnement, en particulier près des passages pour piétons. Un rapport a souligné la Police de Toronto mentionner les AirPods d’Apple comme un problème, bien qu’il s’agisse davantage d’un problème d’écouteurs génériques en général. Le problème est un problème mondial, avec un autre cas majeur au Royaume-Uni en 2020.

Alors qu’Apple s’est concentré sur l’avancement des capteurs de santé sur ses AirPods, Huawei, le concurrent d’Apple en Chine, a déposé un brevet dans lequel ses futurs dispositifs d’écouteurs audio pourraient intégrer des caméras mondiales et utiliser l’IA pour détecter les intersections et les objets s’approchant rapidement du porteur.

Huawei note que la technologie de vision par ordinateur est l’une des technologies d’intelligence artificielle (IA) utilisées pour la reconnaissance d’images, le suivi de mouvement et l’extraction de données d’image. Il permet à un système informatique d’identifier automatiquement des objets dans des images ou des images vidéo individuelles, ou de reconnaître l’activité humaine sur une série d’images vidéo. Il fournit une compréhension de haut niveau du monde réel via des tâches de vision par ordinateur telles que la compréhension de la scène, la perception 3D, la reconnaissance des gestes, etc. à partir d’images capturées par une caméra (par exemple, caméra RVB, caméra d’événement, caméra IR). Par exemple, la vision par ordinateur peut être utilisée pour déterminer la position du visage d’une personne dans une image numérique. La vision par ordinateur définira la prochaine innovation sur les wearables.

Les écouteurs conçus avec des caméras intégrées peuvent être utilisés pour la reconnaissance de formes, la reconnaissance de gestes, la reconnaissance 3D de biens et d’objets, la numérisation 3D et la photographie 3D.

C’est un objet de ce brevet de proposer un écouteur à caméra avec des systèmes et des procédés qui étendent la vue de l’utilisateur.

Un autre objet de la présente invention est d’effectuer un traitement temps réel et embarqué de plusieurs tâches de vision par ordinateur qui comprennent l’utilisateur et son environnement.

Encore un autre objet du brevet est de fournir une interaction/rétroaction utilisateur-écouteur basée sur la compréhension de l’utilisateur et de l’environnement si nécessaire.

Une caméra montée sur les écouteurs peut avoir un champ de vision limité. Par conséquent, il est possible de capturer efficacement des images en configurant le capteur pour capturer l’image de telle sorte que l’image capturée ne chevauche pas une autre image capturée par un autre dispositif électronique de type casque.

Plus précisément, le dispositif électronique de type port d’oreille peut interagir avec l’utilisateur en l’alertant lorsqu’une voiture à proximité est détectée par une tâche de vision par ordinateur, comme indiqué dans le brevet de Huawei FIG. 7 ci-dessous ; En figue. 14(a), le champ de vision de la deuxième caméra tournée vers le monde #301′ et le champ de vision de la deuxième caméra tournée vers le monde #302′ peuvent avoir un certain chevauchement partiel.

Le brevet de Huawei FIG. 15 ci-dessus est un diagramme pour expliquer une méthode d’utilisateur i Un autre scénario d’utilisation peut être la marche et le vélo intelligents. Par exemple, comme le montre la Fig. 15, l’oreillette peut interagir avec l’utilisateur (par exemple, un cycliste portant l’oreillette #100) en l’alertant lorsqu’il y a une voiture à proximité détectée par la tâche de vision par ordinateur. FIGUE. 15 est un schéma pour expliquer des exemples de procédés d’interaction/rétroaction d’utilisateur. Comme le montre la Fig. 15, la première caméra orientée vers le monde #301 et la deuxième caméra orientée vers le monde #301′ peuvent alerter un cycliste portant les écouteurs si des voitures à proximité sont détectées et reconnues par l’interaction/le retour des écouteurs.

Le brevet de Huawei FIG. 3 ci-dessous représente un exemple d’architecture de système de l’oreillette ; comme le montre la Fig. 13(b), le champ de vision de l’utilisateur et le champ de vision de la première caméra face au monde #301 et de la deuxième caméra face au monde #301′ peuvent ne pas se chevaucher (selon le modèle).

L’utilisation des caméras au-delà de la détection du danger à l’approche d’un utilisateur des écouteurs, Huawei présente un deuxième scénario de cas d’utilisation qui peut améliorer l’expérience d’écoute. En figue. 8, l’utilisateur peut utiliser des gestes de la main devant les caméras pour contrôler la lecture de la musique.

Pour ceux qui souhaitent approfondir les détails de cette invention, consultez le brevet américain de Huawei 20230209020.

Bien qu’il ne s’agisse pas d’une application « santé », il s’agit certainement d’une fonctionnalité que tous les fabricants d’écouteurs haut de gamme devraient envisager de mettre en œuvre en tant que fonctionnalité de sécurité publique.

Si vous avez une opinion à ce sujet, envoyez vos commentaires sur notre fil Twitter.