Les capteurs lidar coûtaient 75 000 $. Maintenant, ils arrivent dans des téléphones coûtant près de 99% de moins. Et ce changement massif ouvre de nouvelles capacités majeures dans le monde de la modélisation 3D, des actifs 3D, de la réalité augmentée, de la réalité virtuelle et du marché croissant des objets virtuels en trois dimensions.

Qu’est-ce qui change?

En un mot, l’iPhone 12 Pro récemment lancé.

«Lidar dans l’iPhone rend la capture 3D beaucoup plus facile et plus rapide, et de nombreuses personnes reçoivent ce nouveau téléphone», déclare Sketchfab PDG Alban Denoyal. « Ce que propose l’iPhone, c’est une technologie plus … robuste, en particulier du côté de la texture. »

Sketchfab est une plate-forme de publication et de recherche de modèles 3D qui vient de dépasser quatre millions d’utilisateurs enregistrés et 10 millions de visiteurs mensuels, qui téléchargent environ un million d’actifs gratuits chaque mois. Ces objets vont du scan 3D d’un croissant au chocolat qu’un propriétaire d’une application de nutrition utilise pour enseigner son algorithme de reconnaissance alimentaire à un scan 3D d’un bouclier que le musicien Post Malone utilise dans sa dernière vidéo musicale, et tout le reste.

Certains créateurs sur la plate-forme gagnent 1000 $ / mois grâce à leurs téléchargements, dit Denoyal. Un autre a été embauché par Tesla avec une commission pour scanner en 3D toutes les nouvelles voitures Tesla.

Et à peine un mois après le lancement de l’iPhone 12 Pro, le dernier iPhone d’Apple représentait déjà à lui seul 5% des téléchargements quotidiens sur la plate-forme. Ce qui signifie, selon Denoyal, que l’iPhone débloque la création de contenu 3D pour le grand public. (Ou du moins cette population qui peut se permettre un téléphone de 1000 $.)

La principale raison pourquoi?

La vitesse.

Écouter le entretien derrière cette histoire:

La numérisation d’un espace avec lidar, qui utilise des impulsions très rapides de lumière laser pour construire une carte topographique, est généralement 100 fois plus rapide que la méthode traditionnelle: la photogrammétrie. La photogrammétrie, quant à elle, fonctionne en prenant des centaines ou des milliers de photos, puis en les combinant via un post-traitement.

«En général, en scannant une pièce, comme en scannant le bureau, il fallait trois minutes pour faire le tour de la pièce avec mon iPhone et 60 secondes pour le traiter, soit 4 minutes au total», explique Denoyal. «Si j’avais fait cela avec la photogrammétrie, il y aurait eu au moins 500 images. Alors peut-être que 10 minutes pour prendre les photos et ensuite plusieurs heures de traitement … donc, plus de 100X [faster]. »

Le déverrouillage du contenu 3D généré par les utilisateurs est énorme pour un certain nombre d’industries émergentes et établies.

Les éditeurs de jeux utilisent des objets numérisés en 3D dans leurs jeux. Les cinéastes font de même. Les systèmes de réalité augmentée deviennent plus intelligents. Les systèmes de reconnaissance d’image sont capables de s’entraîner sur des données connues, ce qui a un impact sur tout, des voitures autonomes aux drones autonomes. Mais les plus grands cas d’utilisation à l’heure actuelle sont les films et les jeux, qui utilisent de plus en plus d’objets numériques. Les jeux sont essentiellement des mondes 3D et ont donc besoin d’actifs 3D pour les peupler et améliorer la vraisemblance. Les films, en revanche, peuvent économiser de l’argent en remplaçant des objets numériques par des objets réels.

Avec lidar sur l’iPhone 12 Pro, davantage de personnes peuvent créer pour ces marchés d’objets numériques.

«Cela fait passer notre base d’utilisateurs potentiels de peut-être 50 millions de professionnels de la 3D à… deux milliards de personnes disposant de smartphones», déclare Denoyal. «C’est assez important.»

Mais l’intégration de la création de contenu 3D ne consiste pas seulement à devenir une chaîne d’approvisionnement numérique pour les films, les vidéos et les algorithmes d’IA. Il s’agit aussi de souvenirs personnels, tout comme les photos. Ou encore mieux, car ce sont des scans tridimensionnels complets.

Un exemple: Denoyal a un scan 3D de sa défunte grand-mère, un portrait numérique d’elle sous une forme et une forme beaucoup plus proches de ce qu’elle était dans la vraie vie. Ce qui signifie, à certains égards, similaire au célèbre Performances de l’hologramme Tupac Shakur, il peut rendre visite à sa grand-mère dans un sens plus viscéral que de regarder une photo ou de regarder un film.

Cependant, la technologie n’est pas la même et ne fonctionne pas toujours aussi bien que la photogrammétrie traditionnelle. La taille de la pièce et plus est excellente avec le lidar; les objets plus petits ont tendance à perdre des détails.

«En règle générale, si vous essayez de scanner une chaussure, elle va avoir du mal», dit Denoyal. «Je pense que c’est une question d’amélioration des applications, d’amélioration du capteur, et aussi d’Apple d’exposer davantage de données brutes à partir de ce qu’il capture.»

Surtout pour les objets plus petits, la photogrammétrie fonctionne bien. Plus il y a d’images et plus la résolution est élevée, plus votre objet 3D peut être détaillé. Lidar continuera de s’améliorer, même si les visuels seront probablement toujours nécessaires. Et, dans de nombreux cas, une combinaison fonctionne bien: lidar pour la vitesse et un nuage de points qui peut être transformé en une représentation maillée tridimensionnelle d’un objet ou d’un espace, et des photos que vous pouvez combiner avec cela.

«Un modèle 3D est un mélange de géométrie et de texture, et nous avons besoin d’améliorations aux deux extrémités», explique Denoyal. «Je pense que du côté de la texture, cela fait déjà un travail assez fabuleux et nous devons donc améliorer le côté de la géométrie.»

Ce qui serait idéal pour l’industrie et pour les créateurs, mais aussi pour les particuliers.

Surtout lorsque vous ajoutez du mouvement au fil du temps que vous pouvez représenter en réalité augmentée.

«J’ai une vidéo volumétrique 4D des premiers pas de mon fils», dit Denoyal. «Et cela rend … la RA est beaucoup plus précieuse pour moi, car j’ai ce contenu pour que je puisse le revoir en RA, ce qui est époustouflant.»

Au fur et à mesure que de plus en plus de téléphones ajoutent des capacités lidar, et que tous les téléphones avec lui ajoutent plus de résolution et de capacité à combiner des nuages ​​maillés créés par lidar avec des photos et des vidéos, attendez-vous à ce que plus d’esprit soient époustouflés.

Obtenez une transcription complète de l’interview de cette histoire ici.