Singulos se dévoile Perceptusune technologie spatiale qui permet des expériences de réalité augmentée avec une meilleure fidélité dans le monde réel.

Singulos, basé à Vancouver, au Canada, pense qu’il peut activer une nouvelle classe d’applications AR convaincantes à l’aide de sa plate-forme Perceptus, qui permet la compréhension et le suivi en temps réel d’objets physiques dans des environnements 3D arbitraires.

J’ai interviewé le PDG Brad Quinton, qui est professeur d’IA et chercheur à l’Université de la Colombie-Britannique, et il m’a montré une démo où nous avons joué une partie d’échecs ensemble.

« Perceptus consiste vraiment à donner à la réalité augmentée la compréhension des objets dans l’environnement », a déclaré Quinton. « Il existe de nombreuses applications de réalité augmentée, mais elles ne font pas grand-chose. Vous pouvez poser un vase sur une table ou prétendre que vous avez un meuble dans un coin. Mais les applications ne réagissent pas au monde qui vous entoure. Et c’est pourquoi nous pensons que donner à AR la capacité de comprendre ces objets lui permet de comprendre votre contexte. Et en utilisant ce contexte, il peut être proactif et vous aider à interagir avec le monde.

Pour montrer ce qu’il voulait dire, il a utilisé un iPad pour capturer une vue de son échiquier dans le monde réel. Il a déplacé une pièce sur son véritable échiquier, puis j’ai regardé mon écran et j’ai vu la pièce bouger sur mon écran. J’ai utilisé ma souris pour déplacer un pion, et il pouvait voir le mouvement sur son écran d’ordinateur. L’application était donc assez intelligente pour voir ses pièces de plateau et les intégrer dans le jeu numérique auquel nous jouions ensemble à distance.

Cela semble assez simple, mais cela nécessite une autre technologie de vision par ordinateur pour créer une expérience de réalité augmentée.

La technologie donne à la RA une compréhension visuelle du monde, permettant aux applications de créer des expériences de RA convaincantes, accessibles et utiles. Grâce à la plate-forme Perceptus, les smartphones, les tablettes et les casques AR/VR peuvent non seulement voir, mais aussi comprendre en continu des objets physiques 3D, tout en fonctionnant en périphérie pour protéger la vie privée de l’utilisateur.

Cette capacité à identifier dynamiquement les objets et leur contexte, tandis que les gens se déplacent sans contrainte dans le monde réel, constitue la base d’une nouvelle génération d’applications et d’expériences de réalité augmentée et mixte qui pourraient changer la façon dont les humains peuvent interagir avec les ordinateurs, a déclaré Quinton.

À compter d’aujourd’hui, la plate-forme Perceptus est disponible sous licence pour les entreprises intéressées.

Perceptus a été développé par une équipe d’entrepreneurs en série de Singulos Research. Dirigée par Quinton, l’équipe a précédemment fondé des startups de haute technologie qui ont été rapidement acquises par des leaders de l’industrie tels que Qualcomm et Tektronix. Ensemble, l’équipe Singulos a développé les technologies et les logiciels de semi-conducteurs au cœur de la plupart des smartphones et processeurs mobiles modernes.

Je suis sûr que nous avons tous des films futuristes ou des vidéos conceptuelles des grandes entreprises technologiques. À partir de ceux-ci, vous pouvez vous attendre à ce que la RA fournisse déjà une multitude de fonctionnalités utiles, mais en réalité, la RA d’aujourd’hui manque d’une compréhension visuelle du monde qui l’entoure, a-t-il déclaré.

Dans une démo, il a montré une vidéo qui utilisait Perceptus pour identifier toutes les pièces nécessaires à l’assemblage d’un meuble. Une par une, la caméra de l’iPad a identifié et codé par couleur chaque pièce. Une pièce manquait, et la caméra se déplace dans une direction et trouve la pièce manquante.

Dans une autre démo, la caméra de l’iPad survole un tas de briques Lego et les identifie individuellement. Vous pouvez le voir identifier et catégoriser chaque pièce. Et ensuite, il détermine ce que vous pouvez construire avec toutes ces pièces. La société appelle cette compréhension dynamique et fonctionne avec toutes les conditions d’éclairage, les mouvements de la tête ou les rotations d’objets.

« Nous avons la compréhension de cette pièce Lego que vous avez devant vous, et nous vous aidons à réfléchir à des idées de choses que vous pourriez construire », a déclaré Quinton, et il a procédé à cette démonstration. « Je vais commencer à détecter toutes ces pièces. Et donc l’une des choses importantes à noter ici est que Perceptus comprend où se trouvent ces pièces en trois dimensions, même lorsqu’elles ne sont pas dans la vue de la caméra. Donc si je déplace la caméra, elle redécouvre des morceaux que je connais déjà. Il ajoute la somme à l’inventaire lorsqu’il en trouve de nouveaux.

Vous pouvez voir une partie du potentiel à mesure que la combinaison de l’appareil et de l’application devient plus intelligente.

« Maintenant, Perceptus dit que vous pourriez construire cet article avec cet inventaire spécifique », a déclaré Quinton. « Cela pourrait dire que je peux construire quelque chose, ou cela pourrait dire que je n’ai pas toutes les bonnes couleurs. C’est s’adapter à l’environnement. Nous pensons que les développeurs d’applications peuvent créer toutes sortes d’applications qui interagissent avec le monde réel. »

L’application Lego pourrait avoir une base de données de conceptions à laquelle elle peut accéder pour déterminer ce que vous pouvez construire, comme un canard en plastique.

« Ce qui est cool, c’est que cela ne vous montrera que des choses qui fonctionnent avec ce qui est devant vous », a déclaré Quinton.

Finalement, ce serait formidable si Perceptus pouvait vous dire étape par étape comment construire quelque chose. Mais ce n’est pas le cas aujourd’hui dans la démo, a déclaré Quinton. Si quelqu’un, les clients seraient ceux qui trouveraient comment construire de telles choses avec leurs applications.

« Si vous êtes un fabricant de meubles, bien sûr, vous avez déjà les instructions », a-t-il déclaré. « Il s’agit donc de faire en sorte que la machine apprenne toutes les différentes parties. »

C’est similaire à la technologie Osmo AI qui utilise une caméra sur un iPad pour reconnaître les éléments dans une application d’apprentissage pour enfants.

Quinton a déclaré que comprendre les objets, en temps réel, est extrêmement difficile. En fait, c’est l’une des raisons pour lesquelles une grande partie de l’objectif initial du métaverse est limité aux mondes complètement virtuels. Il est beaucoup plus simple pour un ordinateur de comprendre le monde artificiel qu’il a créé. Mais Singulos pense que pour la plupart des applications, les gens préfèrent exister dans le monde réel.

Plus précisément, la technologie de base de Perceptus utilise une approche entièrement nouvelle et exclusive de l’IA et de la vision par ordinateur qui permet à la plate-forme d’identifier, de comprendre et de suivre en permanence des objets. Cette percée technologique est ce qui permet une nouvelle classe d’expériences AR convaincantes et utiles.

Singulos s’appuie également sur la technologie de processeur mobile existante – Tous les smartphones, tablettes et lunettes/lunettes modernes peuvent offrir des expériences AR intelligentes et physiquement conscientes, rendant les expériences AR plus accessibles et plus courantes.

Et il a la possibilité d’un contrôle local, sans le cloud. Le traitement se fait entièrement en périphérie, comme sur l’iPad, donnant aux utilisateurs un contrôle direct de leurs données. Ceci est, bien sûr, attrayant pour toute entreprise qui prend au sérieux la confidentialité.

L’équipe de Singulos Research organise actuellement des conversations avec des entreprises technologiques intéressées par des accords de licence pour utiliser Perceptus et intégrer la plate-forme dans leurs propres applications et appareils.

Lorsque vous déplacez un élément sur l’échiquier, « ce qui me semble excitant, c’est cette idée que vous manipulez maintenant ma réalité, n’est-ce pas? » dit Quiton.

La société discute avec des licenciés potentiels qui peuvent développer leurs propres applications. Quinton a déclaré que les premiers clients pourraient sortir quelque chose d’ici l’été. Il a déclaré que la technologie était destinée aux processeurs Snapdragon de Qualcomm, au processeur M1 d’Apple et à l’un des processeurs de Google.

« Ce dont nous avons besoin pour que cela fonctionne, ce sont les accélérateurs de neurones », a-t-il déclaré. « Tous les téléphones mobiles modernes ont des accélérateurs neuronaux, comme le moteur neuronal Apple et l’hexagone sur les chipsets Qualcomm. Et donc c’est, c’est vraiment ce qu’il faut. Nous pouvons donc être Android, nous pouvons être iOS, ce n’est pas un problème. Mais il doit s’agir d’un processeur mobile assez moderne.

Au fil du temps, la technologie s’améliorera avec un matériel d’IA plus rapide et meilleur. L’entreprise existe depuis trois ans et compte six personnes.