Léa Dorne se souvient encore très bien d’avoir visité un camp de réfugiés syriens et d’être restée dans la caravane des Nations Unies d’une famille en Jordanie.

Mais elle n’était pas vraiment au Moyen-Orient. Dorne a observé la réalité de la famille à travers un casque Oculus Quest tout en regardant un film tourné en réalité virtuelle (VR).

« C’est très différent de voir un clip vidéo sur votre smartphone », a déclaré Dorne, un senior spécialisé dans le commerce de la musique à l’Université de Miami. « Quand un film vous entoure [in virtual reality], vous ne pouvez pas y échapper. L’impact est donc démultiplié. C’est beaucoup plus fort, plus grand et plus émouvant, et ces films peuvent faire passer un message de manière plus percutante.

Dorne a vu le film, « Nuages ​​sur Sidra,» dans le cadre d’un cours de médias interactifs à l’École de communication. L’expérience a renforcé sa décision de postuler et d’accepter un Plus une bourse passer une année supplémentaire à l’Université pour apprendre comment elle peut mélanger la technologie immersive et la musique pour amplifier la puissance du film.

« La réalité virtuelle a eu pour effet de me faire penser à d’autres personnes et d’aller dans des endroits où je ne pouvais pas aller », a souligné Dorne, qui développe également une application de réalité virtuelle avec l’aide à la programmation de Varun Krishnan, étudiant de première année à la Miller School. d’étudiant en médecine. « En termes d’éducation, c’est tellement puissant. »

Elle fait partie d’une communauté croissante d’étudiants universitaires, de professeurs et de membres du personnel qui explorent l’utilisation de la technologie immersive – qui comprend la réalité virtuelle, augmentée et mixte – pour améliorer le monde qui les entoure. Celui de l’Université Initiative XR, lancé en 2018 avec Magic Leap, basé à Plantation, continue d’évoluer sur trois campus à mesure que de plus en plus d’étudiants et de membres du corps professoral développent des projets qui utilisent une technologie immersive et peuvent être visionnés sur une variété croissante d’appareils et de casques.

« Les technologies immersives sont ce que deviendra Internet et comment nous ferons l’expérience des choses en ligne », a déclaré Kim Grinfeder, directeur de l’initiative XR et président du département des médias interactifs.

Cela arrive à un moment où la technologie immersive devient un outil essentiel pour s’engager dans le métaverse – ou une version virtuelle de la société – ce qui pourrait être encore plus pratique pour les étudiants, les professionnels et les éducateurs en période d’isolement nécessaire.

Apprendre dans un lieu virtuel

Par exemple, les étudiants peuvent suivre des cours et apprendre dans un lieu virtuel de leur choix à l’aide de casques de réalité virtuelle. C’est quelque chose que Grinfeder, avec William Green, professeur d’études religieuses ; et Denis Hector, professeur agrégé d’architecture, explorent ce semestre dans la deuxième édition de leur cours, « Religion et espace sacré à l’ère de l’intelligence artificielle et de la réalité virtuelle ». Ils espèrent que chaque cours pourra se tenir dans un espace sacré différent à travers le monde, avec des avatars d’étudiants et de professeurs assis autour d’une table de discussion virtuelle (utilisant des casques Oculus Quest appartenant à l’université pour y assister).

À l’aide d’applications de réalité augmentée (ou AR), des images ou des informations numériques sont superposées à notre environnement physique. Ces applications peuvent être visualisées via l’appareil photo d’un téléphone ou d’une tablette ou à l’aide de casques comme le Magic Leap One ou le Microsoft HoloLens 2. Aujourd’hui, la réalité augmentée est largement utilisée pour créer des modèles architecturaux qui permettent aux utilisateurs de toucher ou de cliquer sur certaines zones d’un bâtiment. et apprenez-en plus à leur sujet, a déclaré Rodolphe el-Khoury, doyen de l’École d’architecture.

L’automne dernier, les étudiants de la classe senior du studio de design ont présenté des modèles AR de leur proposition pour le nouvel hôtel de ville de Cutler Bay et un projet de réaménagement de quartier près d’Atlanta dans la tente Homecoming de l’École d’architecture. À l’aide de tablettes ou de leurs propres caméras de téléphone, les visiteurs pouvaient voir une version augmentée de la conception des étudiants, avec des informations telles que les conditions d’eau et d’élévation pour chaque site et la densité de population prévue. Ils pouvaient également visualiser les espaces verts dans le modèle.

« Nous investissons dans les technologies émergentes dans une variété de plates-formes pour assurer un meilleur accès à des expériences d’apprentissage immersives », a déclaré el-Khoury, ajoutant que l’école utilise également la réalité virtuelle et que la classe d’introduction à la réalité virtuelle et à la réalité augmentée de la conférencière Ruth Ron a gagné un suite régulière. « Chez Homecoming, nous voulions que les créations des étudiants soient aussi accessibles que possible, afin que les gens puissent utiliser leur téléphone comme une lentille à travers laquelle ils pourraient voir et interagir avec le projet. Lorsque les casques deviendront plus omniprésents, ce sera une expérience encore plus immersive. Et nous préparons les étudiants à cette réalité, qui, nous prévoyons, prévaudra à l’avenir.

Grinfeder a vu le désir d’utiliser la technologie immersive progresser régulièrement depuis qu’il a travaillé sur son premier projet VR en 2014 à l’École de communication.

« L’Université de Miami est bien préparée et prête en ce qui concerne les technologies immersives », a-t-il déclaré. « Et je suis reconnaissant que l’administration ait eu la prévoyance de remarquer l’importance de ces technologies et d’y investir. C’était très avant-gardiste, et c’est pourquoi nous ne sommes pas en retard aujourd’hui.

Subventions offertes pour créer de nouveaux produits XR

Chaque année, grâce à l’initiative XR, de plus en plus d’étudiants, de professeurs et de membres du personnel qui souhaitent explorer le domaine apprennent à intégrer la réalité augmentée, la réalité virtuelle et la réalité mixte dans leurs recherches et leurs bourses. Ceux qui ont une idée pour faire progresser leur domaine d’études peuvent demander un financement par l’intermédiaire du Subventions XR et prix Provost XR.

Jusqu’à présent, 32 membres du corps professoral et 11 étudiants ont reçu un financement pour produire des applications XR. Dorne a reçu une subvention pour créer une application inspirée de la synesthésie : une condition neurologique dans laquelle deux sens d’une personne sont expérimentés simultanément, comme si certains sons suscitaient des images ou des couleurs. Dans son application, les utilisateurs peuvent jouer différentes notes sur un tambour, et chaque note déclenche un feu d’artifice de couleur différente à l’horizon. Bientôt, les notes de tambour propulsent un navire vers l’avant à travers l’océan, et le joueur s’engage dans un duel rythmique avec un navire ennemi.

« Mon intention était d’inciter une étincelle dans l’esprit créatif des gens pour établir des liens entre deux formes d’art », a déclaré Dorne. « Ainsi, l’utilisateur peut jouer sur une batterie et, en jouant certains motifs ou séquences, il déclenche une narration visuelle. »

Berk Basarer, un étudiant senior en génie électrique, lance « AR Translate », une application qui offre aux utilisateurs une traduction linguistique en temps réel à l’aide d’un casque de réalité augmentée, afin que les gens puissent communiquer même s’ils ne parlent pas la même langue. Avec l’application, les utilisateurs verraient des sous-titres réels de ce que l’autre personne dit et pourraient s’exprimer dans leur langue préférée.

Acquérir des connaissances de première main

Actuellement, au moins 26 cours universitaires intègrent la réalité virtuelle et augmentée dans leur cursus. Il existe également plusieurs endroits sur le campus où les étudiants et les membres du corps professoral peuvent découvrir la technologie immersive.

Tous les étudiants, professeurs et membres du personnel de l’Université ont accès au Laboratoire communautaire XR au troisième étage de la bibliothèque Richter, bien que les rendez-vous soient recommandés. De plus, les étudiants et les professeurs de l’École de communication peuvent utiliser le Studio XR, et les étudiants et professeurs de l’École d’architecture peuvent visiter le Laboratoire d’architecture et de conception réactives (RAD) et son installation VR/AR.

Une formation sur le terrain sur la programmation pour la réalité virtuelle (généralement à l’aide d’un logiciel appelé Unity) peut être obtenue grâce à des cours à l’École d’architecture, à l’École de communication et au Département d’informatique du Collège des arts et des sciences.

Les étudiants qui veulent une expérience accélérée peuvent également servir comme apprenti dans le UMIT Innover programme. Le directeur Max Cacchione dirige une équipe d’étudiants programmeurs à l’UMIT Innovate qui travaillent avec les étudiants et les membres du corps professoral pour donner vie à leurs idées de réalité étendue. Bien que certains de ses premiers stagiaires aient été des étudiants en informatique et en génie logiciel, a-t-il dit, l’intérêt pour apprendre à programmer pour la réalité virtuelle et augmentée s’est étendu à d’autres coins de l’Université.

« Il y a plus d’étudiants intéressés à apprendre à naviguer dans les technologies immersives, et chaque année, notre équipe s’agrandit d’environ 30 % », a déclaré Cacchione. «Les étudiants bénéficient du programme en obtenant un emploi chez UM, une certification Unity et une expérience de travail dans une équipe logicielle agile. L’Université bénéficie également de la création de propriété intellectuelle et d’opportunités de subventions grâce à des projets menés par des professeurs qui emploient des étudiants d’UM Innovate.

Les professeurs d’informatique Ubbo Visser et Viktor Milenkovic sont d’accord. Visser enseigne un cours d’introduction à la programmation de jeux qui est ouvert à tous les étudiants de premier cycle et est toujours complet. Milenkovic enseigne des cours de géométrie computationnelle, ou les mathématiques derrière la programmation 3D pour la réalité virtuelle et augmentée. Mais il siège également au conseil consultatif de la XR Initiative.

« Nous enseignons les principes, afin que les gens comprennent ce qui se passe et ce qui est possible dans ce média », a déclaré Milenkovic, qui est également président du Département d’informatique.

Certains de leurs étudiants particulièrement qualifiés font souvent une étude indépendante, et deux étudiants diplômés ont récemment travaillé avec Milenkovic et Visser pour terminer une application XR. Leur application, « Interface intuitive pour l’interaction homme-robot, » utilise des casques de réalité augmentée pour créer une carte 3D personnalisée d’une maison, qui est ensuite utilisée pour former des robots de soutien humain pour naviguer dans la maison d’une personne âgée.

« Quelqu’un viendra avec des lunettes de réalité augmentée et cartographiera la maison et les meubles. Ainsi, le robot sait où se trouve son lit et où se trouve la salle de bain, par exemple », a expliqué Milenkovic.

Un monde d’opportunités

À mesure que l’équipement et la technologie XR deviennent plus accessibles, les membres du corps professoral proposent des idées précieuses sur la façon d’intégrer la technologie, selon Cacchione, qui occupe son équipe d’étudiants très occupée.

L’équipe UMIT Innovate commence maintenant à travailler sur une application – conçue par la professeure d’ingénierie Diana Arboleda et le professeur agrégé James Giancaspro – pour enseigner la statique. C’est un domaine de la physique critique pour les jeunes ingénieurs qui est difficile à comprendre dans un manuel 2D mais qui est beaucoup plus clair en 3D, ce qui est possible en utilisant la réalité augmentée. Cette collaboration a récemment reçu une subvention de 300 000 $ de la National Science Foundation.

Les membres du corps professoral peuvent également faire appel à des professionnels de l’Institute for Data Science and Computing (IDSC) pour développer des applications en réalité étendue. Manouj Govindaraju, ingénieur logiciel à l’IDSC, travaille avec plusieurs membres du corps professoral qui ont reçu des subventions XR ce semestre. « Smart Assistant », conceptualisé par le professeur de communication Ching-Hua Chuan, aidera les travailleurs de ligne à se former et à affiner leurs compétences à l’aide de casques d’intelligence artificielle et de réalité augmentée qui suivront chaque étape d’un processus, puis redirigeront le travailleur s’il oublie une étape, aidant qu’ils deviennent plus efficaces. Une autre application conçue par Delia Cabrera DeBuc, professeure agrégée de recherche en ophtalmologie, et le Dr Ranya Habash, professeure adjointe d’ophtalmologie clinique, vise à aider les cliniciens à diagnostiquer les maladies neurodégénératives, comme la maladie d’Alzheimer, à un stade précoce. L’application simulera un voyage d’épicerie en réalité virtuelle, puis suivra l’activité cérébrale d’un patient pour voir s’il a du mal à se souvenir de ce qu’il doit acheter.

Grinfeder est ravi de constater une augmentation de l’enthousiasme des étudiants et des professeurs pour la technologie immersive, qui grandit à mesure que des idées plus utiles sont proposées chaque semestre.

« Ce lancement de Magic Leap a vraiment poussé tout le monde à l’Université à réfléchir aux médias immersifs et à ce que le métaverse pourrait devenir, et maintenant nous commençons à en voir les fruits », a-t-il déclaré. « Un grand nombre des applications que nous recevons actuellement sont des idées bien fondées qui démontrent une compréhension de la façon dont ces technologies peuvent être exploitées. Et bien que cette idée de métaverse ait pu prendre certaines personnes dans d’autres institutions au dépourvu, ici à l’Université de Miami, ce n’est pas le cas.