Lors de l’I/O 2023 la semaine dernière, Google a annoncé une nouvelle version du projet Starline et a permis à davantage de personnes de l’essayer. Nous avons eu la chance de découvrir la technologie de vidéoconférence immersive, tandis que MKBHD a pu enregistrer une bonne approximation de ce que signifie utiliser le projet Starline.

Projet Starline original ou nouveau

Les premiers prototypes du projet Starline étaient hébergés dans ce qui était essentiellement un stand composé de deux composants principaux. L’« unité d’affichage » comprenait un panneau 8K (60 Hz) de 65 pouces, des haut-parleurs, des microphones, des éclairages et un ordinateur, ainsi que plusieurs ensembles de caméras :

• Quatre caméras de suivi du visage à fréquence d’images élevée (120 FPS) pour « estimer l’emplacement 3D des yeux, des oreilles et de la bouche avec une précision d’environ cinq millimètres ».
• Trois groupes de modules de caméra pour la vidéo 3D. Chacun contient deux caméras infrarouges et une caméra couleur, tandis que le module inférieur contient une autre caméra couleur zoomée sur le visage.

La « unité de rétroéclairage » comprenait le banc et le rétroéclairage infrarouge. Quatre GPU NVIDIA (deux Quadro RTX 6000 et deux Titan RTX) ont été utilisés pour compresser quatre flux de couleurs et trois flux de profondeur. Tout a été transmis via WebRTC avec le projet Starline combinant le travail de Google en matière d’imagerie 3D, de compression en temps réel, d’audio spatial et d’affichage de champs lumineux.

Cette configuration est évidemment coûteuse et techniquement intensive, Google notant la semaine dernière à quel point « la taille et la complexité du système rendaient difficile son introduction dans de nombreux bureaux d’aujourd’hui ».

Le nouveau prototype du Projet Starline ressemble plus à un tableau blanc numérique avec une protection en profondeur (en quelque sorte) devant l’écran, ainsi qu’une table dressée. Notamment, seul un «quelques caméras standards » disposés en haut, à gauche et à droite de l’écran et l’IA sont utilisés pour créer une carte de profondeur.

Projet Starline en pratique

Depuis que le projet Starline a été annoncé lors de l’I/O 2021, les gens ont été ravis de voir à quel point les personnes devant eux sont réalistes et tridimensionnelles. Depuis lors, Google a lentement étendu l’accès aux sociétés tierces.

En utilisant Starline la semaine dernière, il y a définitivement une sensation de profondeur inattendue. La personne en face de vous n’est pas plate et j’ai immédiatement regardé à gauche et à droite pour vérifier.

Cependant, je ne dirais pas non plus qu’ils sont entièrement en 3D. Il y a une limite à leur profondeur qui, pour moi, était évidente après la surprise et l’émerveillement initiaux. J’avais l’impression que la personne que je regardais était un carton découpé de 1 à 2 pouces d’épaisseur plutôt qu’une tête et un corps entiers. C’était la même chose lorsque mon partenaire de démonstration m’a tendu une pomme devant moi.

Pour une raison quelconque, l’effet 3D était bien meilleur lorsque j’ai retiré mes lunettes. Avec eux, l’effet 3D semblait localisé dans mes images et s’apparentait quelque peu à regarder un film 3D dans une configuration de cinéma sophistiquée.

En attendant, j’aimerais que la personne 3D soit beaucoup partageuse. Je pouvais voir les pixels de la même manière que je trouve la résolution de 1 800 × 1 920 par œil du Méta Quête Pro pour ne pas être assez pointu.

Compte tenu de ma brève utilisation, je considère Starline comme un plus/complémentaire à l’expérience d’appel vidéo. Il y a une nouveauté dans l’ajout d’une certaine profondeur réelle que je pourrais vouloir toujours avoir au fil du temps.

Même si la personne devant moi avait de la profondeur, l’une des choses que j’ai trouvées les plus surprenantes était de regarder la transition entre le bord de l’écran Starline et le mur derrière l’écran. La fenêtre Starline ressemblait véritablement à un portail vers un autre monde que je voulais littéralement traverser. J’ai trouvé cela extrêmement amusant.

Démo Starline de MKBHD

Compte tenu du suivi impliqué, Starline est très difficile à démontrer virtuellement. Vous devez en faire l’expérience en personne pour obtenir le plein effet. Cependant, Marques Brownlee et son équipe ont eu l’idée de reproduire l’expérience dans une vidéo :

Vous voyez, fondamentalement, une fois que vous vous asseyez pour la première fois sur le stand du Projet Starline, ce système doit identifier où se trouve votre visage, puis vous pouvez vous déplacer et regarder des choses avec un suivi de la tête et du corps. Et bien sûr, cela ne fonctionnera pas si vous installez simplement une caméra. Mais si vous lui montrez un visage et une caméra en même temps, comme disons peut-être un visage en carton où vous pouvez coller un objectif de caméra d’une manière ou d’une autre à travers ce visage en carton, alors il suivrait et vous pourriez voir de quoi je parle.