L’un des sales petits secrets de la conception d’expériences de réalité virtuelle (VR) dans le casque aujourd’hui est toute la réduction des coins requise pour des raisons d’efficacité. Les concepteurs veulent offrir aux utilisateurs des expériences immersives. Mais les casques sont conçus pour minimiser la chaleur et le poids et pour économiser l’énergie s’ils sont alimentés par batterie. Cela signifie que même si ce que vous voyez à travers un casque VR semble immersif dans un sens (il semble avoir de la profondeur et vous entourer lorsque vous tournez la tête), peu de choses bougent. Et les choses qui bougent sont visuellement simplistes. Ce compromis de coupe d’angle est nécessaire car l’ajustement du flux vidéo pour afficher la bonne perspective sur la scène en fonction de votre pose changeante (position et orientation) est moins coûteux en termes de calcul s’il n’y a pas également d’objets en mouvement dans la scène.

Par exemple, lors d’un récent forum de deux heures auquel j’ai assisté dans AltspaceVR, le contenu de ce que les panélistes et les participants ont dit était convaincant, mais le paysage simpliste et les avatars ressemblaient distraitement à un jeu caricatural plutôt qu’à la réunion d’affaires sérieuse à laquelle l’événement était destiné. être:

Et dans l’application VR Fitness Supernatural, vous pouvez vous entraîner entouré d’une vue imprenable à 360 degrés sur les montagnes à côté d’un lac alpin – mais un regard attentif révèle que le paysage est en fait une capture fixe (pas une vidéo) rendue plus convaincante grâce au subtil mouvement de l’eau généré par algorithme superposé sur la partie de l’image qui montre la surface du lac chaque fois que vous vous tournez vers lui :

Sinon, à peu près les seuls objets en mouvement sont quelques cibles sphériques volantes que vous pouvez frapper lorsqu’elles volent vers vous. Ainsi, bien que l’expérience soit suffisamment immersive pour être époustouflante, elle semble toujours statique par rapport à la réalité physique, tout cela dans le but de réduire la quantité de calculs que le casque doit effectuer.

Y a-t-il un espoir d’amélioration pour les concepteurs d’expériences de réalité étendue (XR) qui s’irritent de ces contraintes ? Oui.

Un moyen courant de rendre l’expérience plus vivante consiste à décharger la majeure partie de ce calcul sur un appareil distinct, comme un téléphone dans la poche de l’utilisateur, un ordinateur portable à proximité ou, pour une qualité optimale, un serveur dans le cloud. Et si l’expérience implique des milliers d’utilisateurs répartis géographiquement ayant une expérience partagée, comme l’envisagent les partisans du métaverse, les serveurs dans le cloud sont une exigence pour une véritable évolutivité, pas seulement une option. Mais cela crée un nouveau défi – comment diffuser un tuyau d’incendie de contenu du serveur vers le casque.

Vendredi dernier, j’ai essayé une solution possible au problème : Varjo Reality Cloud (VRC), qui devient disponible dans le commerce aujourd’hui. Avec VRC, le casque envoie les données de mouvement de l’utilisateur à un serveur qui sait ce qu’il y a dans la scène. Le serveur peut créer de nouvelles images en réponse, les encoder sous forme de flux vidéo compressé, les chiffrer et les envoyer au casque de l’utilisateur. Le casque n’a alors qu’à recadrer et déformer légèrement les images pour compenser tout mouvement de l’utilisateur pendant les millisecondes qu’il a fallu pour entendre le serveur, puis les afficher sous forme de flux vidéo – un ascenseur beaucoup plus léger.

Jusqu’à présent, Varjo a bâti sa réputation sur la fabrication des casques VR/XR les plus avancés disponibles dans le commerce, offrant des expériences suffisamment nettes pour correspondre à la résolution de l’œil humain pour des clients comme Boeing, Rivian, Siemens et Volvo. La société affirme que VRC peut désormais offrir cette qualité visuelle même en streaming à seulement 35 Mbps (moins d’un tiers de la vitesse Internet moyenne actuelle dans les foyers américains). Et Varjo a l’intention de rendre VRC disponible pour les appareils d’autres fournisseurs à l’avenir, y compris les casques et les smartphones bas de gamme.

Pour les concepteurs d’expérience XR, VRC ouvre la possibilité de les libérer de la coupe de coin d’aujourd’hui afin qu’ils puissent créer des expériences pour les utilisateurs de réalité virtuelle, mixte et augmentée qui sont visuellement à égalité avec la réalité physique – un pas en avant qui augmenterait probablement le appel de XR et, plus largement, du métaverse primordial tel qu’il émerge.

Cependant, le chemin à parcourir n’est pas sans obstacles. À un moment donné de la démo de réalité mixte que j’ai vécue alors que je portais un Varjo XR-3, la voiture virtuelle grandeur nature étonnamment photoréaliste qui était apparue devant moi en 3D et dont la porte papillon s’était gracieusement ouverte a commencé à trembler légèrement par rapport au sol pendant que je faisais le tour du véhicule. En revanche, lorsque j’ai fait l’expérience d’une démonstration Varjo lors d’un événement de l’industrie l’année dernière, la voiture était parfaitement stable. La différence était qu’à cet événement, le flux provenait d’un ordinateur portable à quelques mètres, alors que cette fois, il se rendait à mon casque depuis un serveur Amazon Web Services (AWS) à des milliers de kilomètres.

Le directeur technique de Varjo, Urho Konttori, a attribué en s’excusant la gigue à un ralentissement intermittent probable de la connexion intercontinentale qui a empêché le flux de suivre tout à fait mes mouvements physiques. Cependant, la démo comprenait également une personne virtuelle grandeur nature basée sur MetaHuman Creator d’Unreal Engine qui était si réaliste qu’elle était à des années-lumière au-delà des avatars stupides de la plupart des expériences XR – sans aucune instabilité. Et quelques jours plus tard, Konttori m’a assuré que le problème de gigue du véhicule avait été résolu.

Le problème temporaire m’a amené à comparer mentalement cette expérience XR basée sur VRC avec l’expérience de l’édition collaborative de documents dans le cloud. C’est beaucoup plus simple sur le plan informatique que le streaming XR – et pourtant, dans Microsoft Office, l’édition collaborative est notoirement lente, les modifications d’un contributeur prenant souvent plusieurs secondes pour apparaître sur les écrans des collègues. En revanche, il n’y a aucun décalage lorsque vous faites la même chose sur des plates-formes concurrentes comme Google Docs. Pour l’édition collaborative, de nombreuses entreprises restent fidèles à Microsoft malgré le décalage frustrant et épuisant la productivité parce que Microsoft est le titulaire – mais dans le streaming XR de haute qualité, Varjo n’a pas cet avantage titulaire. D’autre part, VRC n’a pas encore de véritables concurrents, et il a maintenant une longueur d’avance significative.

Pour les concepteurs d’expériences dont le support est XR (et peut-être éventuellement le métaverse), le streaming XR basé sur le cloud pourrait les libérer des contraintes actuelles de coupe d’angle, offrant une palette beaucoup plus riche à partir de laquelle créer des expériences pour les clients, les employés, les partenaires et les autres utilisateurs. , comme la voiture photoréaliste de la démo Varjo :

L’un des nuages ​​sombres qui pèsent aujourd’hui sur le potentiel d’un métaverse primordial est l’incertitude quant à savoir si les utilisateurs grand public toléreront les expériences caricaturales, du moins pour autre chose que de simples expériences de jeu ou de nouveauté sociale. Varjo Reality Cloud pourrait bien soulever ce nuage sombre.

Êtes-vous impliqué dans la conception d’expériences XR ? Si c’est le cas et que vous êtes prêt à parler avec moi des défis et des opportunités que vous avez rencontrés, en tant que contribution à mes recherches, envoie moi un message et fixons un moment pour parler.

Sources d’images :

1. Capture d’écran de l’auteur de l’application AltspaceVR.
2. Capture d’écran de l’auteur de l’application Supernatural.
3. Dossier de presse Varjo.