Apple veut vraiment que nous nous éloignions de l’idée de RA impliquant que nous nous couvrions la tête avec des lunettes géantes et que nous nous tenions sur place pendant que les jeux se déplacent autour de nous. Au lieu de cela, il a recherché des casques moins intrusifs comme « Verre de pomme», et maintenant il étudie également comment résoudre les problèmes supplémentaires que le mouvement apporte.

« Méthode et système pour déterminer au moins une propriété liée à au moins une partie d’un environnement réel » est un nouveau demande de brevet qui à 22 000 mots n’est que légèrement plus long que son titre. Bien qu’il entre dans des détails très précis sur les multiples méthodes pour atteindre ses objectifs, il est cependant centré sur le même problème.

«Les méthodes de vision par ordinateur qui impliquent l’analyse d’images sont souvent utilisées, par exemple, dans la navigation, la reconnaissance d’objets, la reconstruction 3D, l’estimation de la pose de la caméra et les applications de réalité augmentée, pour n’en nommer que quelques-unes», souligne la demande de brevet.

« [However, when] un algorithme d’estimation de pose de caméra, de reconnaissance d’objet, de suivi d’objet, de localisation et de suivi simultanés (SLAM) ou de structure à partir du mouvement (SfM) est utilisé dans des environnements dynamiques où au moins un objet réel se déplace, la précision de l’algorithme est souvent réduite de manière significative « , dit-il, » avec des échecs de suivi fréquents, malgré des techniques d’optimisation robustes employées dans les algorithmes réels. « 

Détail du brevet montrant une méthode d’utilisation de l’imagerie thermique pour aider la RA

Le problème clair qui en résulte est que la RA peut se tromper lorsqu’elle tente de positionner un objet virtuel dans l’environnement réel. Apple dit qu’en fait, le problème est un peu plus profond que cela, et que la solution doit donc également.

«C’est parce que divers algorithmes de vision par ordinateur supposent un environnement statique et que le seul objet en mouvement dans la scène est la caméra elle-même, dont la pose peut être suivie», poursuit-il. « Cette hypothèse est souvent démentie, étant donné que dans de nombreux scénarios, divers objets en mouvement pourraient être présents dans le frustum de vision de la caméra. »

Ainsi, tout système AR aura tous les détails de positionnement possibles sur lui-même – le casque ou la caméra sur le casque – mais le suivi de tout le reste est difficile. Et c’est difficile pour une combinaison de problèmes, y compris le traitement des données.

«Il existe dans l’état actuel de la technique de nombreux algorithmes de détection et de segmentation d’objets dynamiques (c’est-à-dire en mouvement) dans la scène», explique Apple. « Cependant, de telles approches sont généralement coûteuses en calcul et reposent sur des techniques de segmentation de mouvement et / ou de flux optique. »

Ces techniques auraient besoin d’un « grand nombre d’images est nécessaire pour effectuer une détection fiable des objets en mouvement ». Apple décrit plusieurs autres alternatives, mais dit que chacune implique «une complexité et un coût de calcul accrus».

La solution d’Apple consiste à augmenter les caméras visuelles AR avec celles qui reposent sur l’imagerie thermique ou infrarouge. « [Thermal] les propriétés des objets réels dans la scène pourraient être utilisées afin d’améliorer la robustesse et la précision des algorithmes de vision par ordinateur (par exemple, le suivi et la reconnaissance d’objets basés sur la vision) », dit-il.

Si le système peut connaître les « propriétés thermiques » des objets non reconnus ou ce qu’Apple appelle des « objets non fiables », alors « un dispositif d’imagerie thermique pourrait être utilisé pour détecter … des objets ».

Alors que la demande de brevet décrit presque exclusivement l’utilisation de ces méthodes pour améliorer la précision dans des environnements occupés et en mouvement, il y a un autre élément. L’utilisation de l’imagerie thermique signifie que la RA ne dépendra pas autant de son utilisation dans des situations parfaitement éclairées.

L’application est créditée à Darko Stanimirovic et Daniel Kurz. Ce dernier a un crédit de brevet antérieur sur une méthode d’utilisation de la RA pour transformer n’importe quelle surface en une écran avec commandes tactiles.