Doublepoint a levé 3,3 millions de dollars pour intégrer sa technologie de reconnaissance gestuelle dans les équipements électroniques grand public et autres matériels.

L’idée derrière la technologie de la société basée à Helsinki, en Finlande, est de simplifier l’utilisation de périphériques matériels pour des choses comme la réalité augmentée et d’autres fins sans aucun problème de courbe d’apprentissage, a déclaré le PDG Ohto Pentikäinen dans une interview avec GamesBeat.

La technologie peut détecter si vous vous pincez les doigts simplement en utilisant les capteurs déjà présents dans les smartwatches Android. La société a déclaré qu’elle pouvait détecter très précisément de tels « microgestes » et le faire beaucoup moins cher que les caméras, qui sont utilisées dans des appareils tels que les casques de réalité virtuelle. (En fait, il y a 10 caméras pour détecter les mouvements dans le casque Meta Quest Pro VR).

« Les gens peuvent créer des appareils qui sont nettement moins chers », a déclaré Pentikäinen.

Doublepoint présentera officiellement sa technologie à l’Augmented World Expo USA 2023, qui se déroulera du 31 mai au 2 juin à Santa Clara, en Californie. La société prévoit de concéder la technologie sous licence à d’autres.

Après trois ans de discrétion, Doublepoint a des brevets en instance pour sa plate-forme logicielle, qui fonctionne avec une gamme d’appareils matériels basés sur Google Android tels que les casques AR.

Le financement provenait d’un éventail d’investisseurs providentiels et de sociétés de capital-risque établies de toute la Finlande et de l’Europe. Les investisseurs de Doublepoint comprennent FOV Ventures, Superangel VC, Superhero Capital, Sune Alstrup, Timo Rein, Business Finland et d’autres. Doublepoint compte actuellement un total de 11 employés situés en Finlande, en Suède, en Allemagne et au Royaume-Uni.

Comment ça fonctionne

Doublepoint propose actuellement un algorithme d’apprentissage automatique très avancé qui détecte avec précision les microgestes tactiles, les interactions de surface et plus encore, a déclaré le CTO Jamin Hu dans une interview avec GamesBeat.

« Quand je tape mes doigts ensemble, mon index et mon pouce ensemble, cela enregistre un tapotement », a déclaré Hu. « Mais le point clé ici est qu’il ne s’enregistre que lorsque je touche réellement mes doigts ensemble, pas lorsque j’essaie de le tromper sans le toucher. Il détecte les moments de contact de différents doigts sur divers objets différents. Et la fidélité dépend du fait que nous ayons ou non construit du matériel personnalisé pour cela.

La technologie prend en charge le geste le plus simple et le plus universel auquel les créateurs pourraient penser – le pincement. Ils l’ont conçu pour qu’il ne nécessite aucun effort pour qu’il fonctionne dans n’importe quelle orientation de la main. Cela signifie qu’il n’est pas nécessaire de mémoriser un grand nombre de gestes et que vous n’avez pas besoin d’y prêter attention.

Tout cela est accompli à l’aide de capteurs génériques de smartwatch et de cycles de calcul minimaux à partir d’une unité centrale de traitement (CPU) intégrée. La plate-forme utilise une IMU (unité de mesure inertielle) pour détecter les mouvements. Ces capteurs sont assez bon marché.

« Donc, pour la smartwatch, nous avons juste besoin de l’unité de mesure inertielle, ce qui signifie que n’importe quelle smartwatch fera l’affaire car toutes ont des unités de mesure initiales », a déclaré Hu.

De plus, il utilise des capteurs bio-acoustiques. Dans l’ensemble, il peut détecter la topographie de votre poignet et son évolution lorsque vous vous déplacez.

« Ainsi, par exemple, lorsque j’appuie sur une table, vous verrez que les tendons au bas du poignet se déforment », a déclaré Hu.

La position et le mouvement des mains dans les appareils peuvent être mesurés de différentes manières, y compris les bracelets, les bagues, les radars, le LIDAR et les caméras. Initialement axé sur les montres intelligentes prêtes à l’emploi permettant les gestes ainsi que sur les appareils XR, Doublepoint vise à résoudre les problèmes d’entrée les plus épineux de la manière la plus simple, a déclaré Hu.

Ceci est accompli en utilisant un capteur mécanique extrêmement sensible dans un bracelet intelligent pour détecter le mouvement, la position et les microvibrations.

Ils ont trouvé qu’il est difficile de concevoir un algorithme pour détecter uniquement le toucher et rien d’autre. Il ne doit pas se déclencher accidentellement lorsque vous touchez une table, saisissez des objets autour de vous et poursuivez simplement votre vie quotidienne. Il ne devrait réagir que lorsque vous pincez spécifiquement vos doigts.

Avec Doublepoint, aucune caméra optique ou capteur LIDAR coûteux n’est nécessaire. La technologie basée sur le bracelet de Doublepoint se concentre plutôt sur les vibrations qui ne se produisent que lorsque vous touchez quelque chose – une offre beaucoup plus simple, beaucoup moins chère et beaucoup plus robuste que d’autres solutions optiques, a déclaré Hu.

En plus des solutions de programmation algorithmique, la société prévoit également de fournir des conceptions matérielles personnalisées dédiées et optimisées pour la détection tactile. Doublepoint propose un SDK tactile gratuit, qui transforme les montres intelligentes existantes en véritables périphériques d’entrée et le télécharge sur le site Web de l’entreprise.

Initialement axé sur les montres intelligentes alimentées par Google Android Wear OS et les appareils XR, Doublepoint utilise la surveillance physique des muscles pour fonctionner et ne nécessite aucun capteur de vision par ordinateur. Doublepoint a commencé avec le problème d’entrée de la RA basée sur Android, car il n’existe actuellement aucune méthode d’entrée discrète et/ou tactile en production.

Les partenaires peuvent obtenir une licence pour l’algorithme de l’entreprise et l’inclure dans leurs montres connectées. Une fois intégré, l’algorithme s’exécutera en continu dans le système d’exploitation de la montre et transmettra les événements gestuels requis via Bluetooth aux casques appropriés.

Origines

Pentikäinen a précédemment fondé une société de technologie immobilière et il connaît Hu depuis le collège. Hu est pianiste de formation classique et ingénieur biomédical. L’entreprise a démarré grâce à son invention de la façon de taper des messages dans les airs avec un bracelet.

Hu a commencé à étudier cette technologie alors qu’il essayait de comprendre comment lire ses propres contractions subconscientes des doigts. Ensuite, cela s’est transformé en la notion de mesurer les humains lorsqu’ils touchaient de vrais objets physiques.

« Nous avons d’abord fondé Doublepoint sous le nom furtif de » Port 6 « pour laisser deviner nos concurrents et sous le seul objectif d’appareils AR permettant les gestes », a déclaré Pentikäinen. « Depuis, nous avons trouvé un marché prêt et enthousiaste dans les montres intelligentes ainsi que XR et nous avons finalement révélé notre nom de production, notre financement complet et notre mission complète. Nous sommes extrêmement reconnaissants à nos VC pour l’afflux de capitaux le plus récent et leur confiance suprême dans notre équipe, notre technologie et notre vision.

Parmi les autres dirigeants figurent Eemil Visakorpi, développeur. Il a précédemment travaillé comme chercheur au Quantum Computing Group de l’Université Aalto. Et il y a Lauri Tuominen, ingénieur ML. Il a auparavant travaillé chez Nokia Bell Labs, spécialisé dans l’apprentissage automatique.

Les conseillers incluent Sune Alstrup. Co-fondateur d’Eye Tribe, une société d’oculométrie acquise par Meta. Un autre est Miklu Silvanto, directeur du design chez Bang & Olufsen. Et Markku Mäkeläinen, auparavant directeur principal des partenariats d’ingénierie chez Meta.

La route devant

Doublepoint est le plus souvent comparé à la société israélienne Appareils portables et basé à Taïwan Coolsotech. Lorsqu’on lui a demandé si le casque de réalité mixte d’Apple pourrait utiliser une telle technologie, Doublepoint a répondu que rien n’était encore confirmé, mais sur la base des sources publiques les plus fiables à ce jour, la reconnaissance des gestes semble être d’un grand intérêt pour Apple pour son prochain casque.

Doublepoint ne parle pas encore de clients, car il vient tout juste de sortir. Certaines entreprises rivales fabriquent leur propre matériel personnalisé, et Apple fabrique elle-même une «touche d’assistance», qui est une technologie de reconnaissance pour les montres intelligentes.

« Nous sommes actuellement le seul à fournir une solution logicielle pour cette reconnaissance des gestes et à accorder une licence à tout le monde », a déclaré Pentikäinen.

Pour les jeux, les applications pourraient devenir assez intéressantes. Vous pouvez créer des contrôleurs homebrew que vous pouvez imprimer en 3D, sans électronique à l’intérieur, où vous pouvez créer un autocollant avec les capteurs qui pourraient détecter vos doigts. Et donc peut-être que pour 5 $, vous pourriez créer votre propre contrôleur de jeu. Cela rappelle les appareils en carton Labo de Nintendo.

En ce qui concerne les appareils VR, « Nous avons juste besoin d’une smartwatch et nous n’avons pas besoin d’ajouter quoi que ce soit de plus sur un casque », a déclaré Hu.