Dans un entrepôt de Hoxton, une unité d’infiltration de six personnes est chargée de percer un mystère qui change le monde. Sur le dark web, un marché noir connu sous le nom d' »Origin » a commencé à vendre de la contrebande, y compris des vaccins Covid 19, de l’extrait de corne de rhinocéros – même l’ADN de Brad Pitt. Soudain, vous êtes face à face avec des dinosaures.

Que se passe-t-il?
Il s’agit de Lost Origin, un projet de recherche et développement conçu pour repousser les limites de ce qui est possible dans le monde naissant de la narration de performances immersives et interactives axées sur la technologie. Même cela est une bouchée, mais il n’y a pas moyen de contourner la fusion multidisciplinaire de techniques traditionnelles et de pointe dans le but de créer une expérience unique.

« L’objectif était de créer une expérience collaborative immersive », explique Maciek Sznabel qui supervise la mise en œuvre créative des projets immersifs chez le chef de projet, Factory42.

« Les expériences de réalité virtuelle peuvent être solipsistes. Vous pouvez faire l’expérience de la réalité virtuelle seul, mais vous ne pouvez pas partager l’expérience avec d’autres. L’objectif de Lost Origin était de concevoir une expérience interactive que les gens peuvent apprécier ensemble et, pour y parvenir, nous avons décidé de mélanger la performance théâtrale avec la technologie de réalité mixte.

Le projet est financé dans le cadre du programme Audience of the Future par UK Research and Innovation via le Industrial Strategy Challenge Fund. Il s’agit de l’aboutissement d’une série de « résultats » de R&D qui explorent comment les publics du futur apprécieront de nouvelles formes de divertissement et d’expériences pour les visiteurs.

Les « sorties » précédentes comprenaient un projet VR mettant en vedette Sir David Attenborough, coproduit par Factory42 avec Sky – l’un des partenaires de Lost Origin aux côtés du théâtre Almeida à Islington et de l’Université d’Exeter et du développeur de dispositifs portables MR, Magic Leap.

« Nous avons commencé par des réunions hebdomadaires de tous les groupes créatifs et il est rapidement devenu évident que personne n’avait rien fait de tel auparavant », explique Sznabel. «Nous avions des gens avec une énorme expérience dans le cinéma, la télévision, l’animation, l’interaction théâtrale. D’une part nous devions appliquer ces connaissances et d’autre part oublier ce que nous savons, être ouverts d’esprit et penser autrement.

Le processus a commencé par les bases, telles que le nombre de chambres dont ils auraient besoin, pour combien de personnes et quel serait le débit de personnes. « Nous avons lentement commencé à créer une vision pour l’espace physique et la simulation logicielle. »

Les ensembles ont été construits à partir de boîtes en carton, en commençant par une seule boîte, puis en construisant et en modifiant progressivement le design. « Vous ne pouviez pas d’abord construire l’ensemble, puis installer tout ce qui l’entoure. C’était un processus constant d’itération, d’essais et d’erreurs. Le point de départ était : posons cette boîte sur le sol et voyons ce que nous pouvons en faire en réalité augmentée. »

Le scénario a rapidement pris forme en impliquant des éléments de science (dinosaures) et de mystère (pour créer les fantômes du joueur), mais il a également dû rester lâche et évoluer avec toutes les autres pièces, y compris l’animation qui prend généralement le plus de temps à créer. . « Le processus était assez similaire à la conception d’un jeu dans le sens où l’animation par ordinateur et la narration se rejoignent », ajoute Sznabel.

Seulement cette fois, ils avaient la couche supplémentaire de décors du monde réel à travers lesquels les joueurs se déplaceraient et interagiraient avec des objets à la fois animés et réels (lumières, audio). « Il a fallu peut-être un an pour que les choses passent du papier aux tests logiciels et à l’animatique pour tester, modifier et retester en permanence comment nous voulons que les gens interagissent, combien d’interactions, quelle est l’expérience des joueurs. »

Itérer jusqu’au résultat
La version finale n’est qu’une des nombreuses itérations possibles. Une version à plus petite échelle a été testée au Metro Center de Gateshead où Magic Leap a permis aux gens d’interagir avec des objets virtuels comme un dinosaure ou un robot. De cela, ils ont appris qu’un plan original pour avoir trois grandes salles avec différentes applications de Magic Leap n’allait pas être possible. C’était en partie à cause des limites de Magic Leap.

« Magic Leap nous a donné des règles sur la façon d’optimiser la technologie, comme ne pas créer d’objet virtuel de plus de cinq mètres, mais nous voulions que notre expérience soit à l’échelle », explique Sznabel.

Un autre plan était de donner à chaque joueur la chance d’avoir des expériences différentes dans Magic Leap en trouvant et en ramassant des œufs de Pâques dans les coins des pièces, mais cela aussi a été mis de côté lorsque Covid a forcé l’équipe à réduire la complexité de la production. Au lieu de cela, deux des espaces utilisés dans le projet final s’appuient sur des technologies plus traditionnelles (bien qu’encore avancées) avec les lunettes AR réservées à une grande « révélation » vers la fin.

Les technologies ont été séparées pour minimiser la complexité.

Les projections interactives ont été utilisées principalement dans la salle Journal. C’est le moment de l’expérience où les choses deviennent surréalistes ; les murs de la pièce semblent faits de pages d’un journal froissé. Trois caméras Intel RealSense ont été utilisées pour capturer la profondeur en direct et les données spatiales de la salle Journal, vues sous différents angles. Les données générées par ces caméras ont ensuite été transférées vers NuiTrack AI, un progiciel intermédiaire qui a permis à l’équipe de localiser et de suivre les six figures humaines à partir de chaque champ de vision.

« Nous avons utilisé ces données de suivi de pose humaine avec nos outils d’analyse de mouvement sur mesure, ce qui nous a permis d’identifier et de répondre à des mouvements et gestes spécifiques en temps réel », explique Mike Golembewski, concepteur et développeur interactif de Factory 42.

Afficher le contrôle
La famille de production (TPF) était responsable de la mise en œuvre des systèmes de contrôle du spectacle utilisés pour orchestrer et synchroniser les médias, le son et l’éclairage utilisés dans le spectacle. Il s’agit d’un rack de contrôle de spectacle personnalisé conçu, construit et programmé par TPF.

« Il utilise le logiciel Qlab comme système de déclenchement principal et est programmé pour créer plusieurs listes de repères, toutes exécutées en même temps », explique le co-fondateur de TPF, Dominic Baker. « Une gamme de timecode, de déclenchement OSC et de Midi est ensuite utilisée à travers l’expérience pour contrôler nos serveurs d’éclairage, de son et de vidéo. Cela garantit que toutes les pièces sont parfaitement synchronisées et peuvent toutes fonctionner en même temps. Des déclencheurs et des boutons d’entrée sont également intégrés à ce système, de sorte que la musique, le son et l’éclairage peuvent être déclenchés par des boutons, des capteurs de proximité, des IR et d’autres serveurs. »

Les projections interactives utilisées dans la salle Journal ont été conçues et créées en tant qu’applications autonomes personnalisées dans Unity, alimentées par trois PC haut de gamme exécutant Windows. Golembewski explique : « Ces PC recevaient des signaux de contrôle d’émission via OSC, fournissaient des flux audio en direct à QLab via Dante et diffusaient de la vidéo HD à 50 ips en temps réel sur un serveur D3 déguisé via NDI. Les flux audio ont été mixés dans une configuration surround 7.1 et la vidéo a été projetée sur les murs à l’aide de trois projecteurs Panasonic RZ120.

À l’intérieur des projections interactives, les caméras Intel RealSense et le middleware NuiTrack AI ont fourni les informations dont l’équipe avait besoin pour comprendre où se trouvaient les personnes dans la pièce. « Notre logiciel d’analyse des gestes sur mesure nous a permis de comprendre comment le public se déplaçait et d’y répondre visuellement », poursuit-il. « Tous les éléments visuels projetés dans l’espace et tous les éléments audio interactifs ont été créés de manière procédurale, puis mappés aux comportements des utilisateurs à l’aide de contrôleurs d’interaction multicouches. »

Une « interaction de flamme », par exemple, dans laquelle les membres du public pouvaient attiser leurs bras pour allumer un feu, consistait en 30 interactions audio réglées de manière unique et 25 interactions basées sur des animations, superposées et présentées simultanément dans un affichage transparent. L’éclairage était spécifique à chaque pièce pour à la fois « améliorer le paranormal ainsi que les paysages plus naturalistes », explique le concepteur d’éclairage, Jess Bernberg.

La salle Journal est éclairée avec une lumière au tungstène pour émettre une chaleur tandis que la plupart des autres espaces sont éclairés à l’aide de LED pour créer une sensation industrielle plus dure. L’éclairage informe également l’expérience. Les zones s’allument pour montrer aux joueurs qu’ils ont résolu un « puzzle » et leur indiquent où se déplacer/maintenir leur concentration.

« Les lumières sont rarement statiques et aident à maintenir le décor en vie », ajoute Bernberg. « Dans chaque pièce, il y a au moins un changement de couleur pour signifier que quelque chose se passe. »

Animatique au pixel final
Le CGI était la responsabilité de Sznabel, une tâche que l’ancien artiste de Weta Digital savourait. Son CV comprend Le Hobbit : La Bataille des Cinq Armées, L’Aube de la Planète des Singes et Avengers : Infinity War.

« Notre approche consistait à rendre les créatures aussi réalistes que dans un jeu AAA. Les textures finales sont en résolution 2K mais vu dans l’appareil, c’est un peu plus bas même si vous ne le remarquez pas.

Remarquablement, la petite équipe d’une demi-douzaine d’artistes a réalisé tout le travail en interne à Factory42.

Outre la conception, le blocage et la mise en page, ils ont donné le caractère des dinosaures. « Quand un dinosaure vous regarde, nous devions le faire interagir avec la personne – pour émouvoir quelque chose. Certains sont effrayants, d’autres curieux.

« Pour moi, c’était une combinaison d’une approche cinématographique classique combinée avec le développement de jeux et aussi un safari dans le sens où vous voulez toucher à tout mais en même temps vous ne pouvez pas. L’animal doit se comporter comme s’il voulait vous toucher et en même temps garder ses distances.

Le théâtre Almedia a donné des conseils sur l’élément de performance, sur la manière dont les joueurs peuvent se déplacer et interagir avec le décor. Les acteurs travaillaient également comme guides dans l’espace de performance et aidaient à recalibrer un casque AR au besoin – en gardant le caractère bien sûr.

Être à la pointe signifie également que la technologie peut mal tourner, ou du moins prendre une tournure inattendue. En mai 2020, alors que l’équipe était à mi-chemin du projet, Magic Leap a annoncé un processus de restructuration loin du divertissement grand public pour se concentrer sur les produits commerciaux. La moitié de ses 2 000 employés ont été licenciés.

« Nous avions eu une bonne coopération avec eux jusque-là et ils ont soutenu que même si l’entreprise s’orientait davantage vers des applications d’entreprise, médicales et industrielles. Cela ressemblait à un excellent appareil et c’est toujours le cas, mais Magic Leap était clairement expérimental. C’est pourquoi nous l’utilisions. À l’avenir, nous envisageons de travailler avec d’autres lunettes XR. »

Ouvrir les portes de la perception
Le marché des lunettes XR a pivoté entre Microsoft Hololens et Magic Leap jusqu’à présent, mais 2022 pourrait voir une série de nouveaux appareils portables de sociétés telles que Lenovo et Xiomi construits à l’aide d’un nouveau développement XR du fabricant de puces Qualcomm. Selon certaines rumeurs, Apple lancerait également ses propres lunettes XR.

« Personnellement, je pense que cela fait partie de l’avenir du divertissement », déclare Sznabel. « Je pense que vous pouvez voir d’après la réaction du public qu’ils vivent quelque chose de différent de tout ce dont le cinéma ou même la réalité virtuelle sont capables.

« D’un point de vue de la production, le principal point à retenir est la façon dont cette forme d’activation expérientielle nécessite une itération à chaque étape du processus. Vous ne pouvez pas supposer que tout ce avec quoi vous commencez sera là à la fin. La technologie ne fera que devenir plus puissante, plus sophistiquée, s’ouvrant à des expériences plus riches et à plus grande échelle. Ce que nous avons fait, c’est ouvrir les portes d’un nouveau domaine d’exploration de la création de contenu.