Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
Créer une réalité alternative en réalité augmentée : l'UCLA réinvente le théâtre grâce à l'Unreal Engine
2 novembre 2022
Que feriez-vous si vous aviez la chance de revisiter l'un des plus grands récits dystopiques de tous les temps ? Pour cette équipe d'étudiants et d'employés du Center for Research in Engineering, Media and Performance (REMAP) de l'Université de Californie à Los Angeles (qui accueille un mélange unique d'étudiants en théâtre et en ingénierie), la réponse était simple : se mettre au travail.
Avec l'aide de l'Unreal Engine, ils ont décidé de produire une pièce de théâtre originale qui se déroule dans l'univers de la série télévisée d'Amazon Studios Le Maître du Haut Château, tout en faisant face aux défis posés par la pandémie. Le résultat est une incroyable œuvre en réalité augmentée qui va transformer l'expérience théâtrale du public de l'UCLA ces prochaines années.
Avec l'aide de l'Unreal Engine, ils ont décidé de produire une pièce de théâtre originale qui se déroule dans l'univers de la série télévisée d'Amazon Studios Le Maître du Haut Château, tout en faisant face aux défis posés par la pandémie. Le résultat est une incroyable œuvre en réalité augmentée qui va transformer l'expérience théâtrale du public de l'UCLA ces prochaines années.
Planter le décor
"Nous avons commencé à nous intéresser à la réalité augmentée, car elle rejoignait nos valeurs" ouvre la co-metteuse en scène, Mira Winick. "Le REMAP a été créé pour encourager l'innovation et la créativité collaboratives entre les étudiants et au sein de la faculté. Grâce à l'AR, nous pouvions aussi impliquer le public. Les étudiants, les membres de la faculté et les spectateurs pouvaient partager une expérience unique dans un espace non physique. Nous savions que ce serait un excellent support pour l'art engagé et nous avons immédiatement décidé d'en faire la base de notre prochain projet."Avec un récit impliquant deux chronologies superposées et des thèmes sociopolitiques visionnaires, une histoire originale se déroulant dans l'univers du Maître du Haut Château semblait être le point de départ idéal pour ce projet d'AR. Après avoir imaginé une réinvention sans précédent du roman de 1962 de Philip K. Dick, le REMAP s'est lancé à la recherche de sponsors et a postulé pour une subvention Epic MegaGrant.
L'idée était de créer une performance théâtrale immersive située dans l'univers du Maître du Haut Château, et où les spectateurs tiendraient une application d'AR appelée The Grasshopper Lies Heavy leur permettant de voir une histoire parallèle située dans une autre chronologie. Par exemple, les spectateurs voient les comédiens décrire sous leurs yeux une réalité tyrannique dans laquelle les forces de l'Axe ont gagné la Deuxième Guerre mondiale, et ils utilisent leurs appareils d'AR pour apercevoir un monde plus proche du nôtre où des manifestations antifascistes font naître l'espoir de jours meilleurs.
Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
La subvention MegaGrant a non seulement permis à l'équipe d'explorer la réalité augmentée dans l'Unreal Engine, mais elle lui a fourni les ressources nécessaires pour développer plusieurs modèles de plug-ins, afin de pouvoir travailler ensemble sans avoir à être au même endroit. L'équipe a ainsi pu commencer par créer des prévis et des composants AR sur des appareils portables et des postes de travail. Une fois l'architecture de plug-ins terminée, la production du projet, intitulé "A Most Favored Nation", pouvait commencer.
Pour A Most Favored Nation, le REMAP a invité des étudiants venant de toutes les disciplines théâtrales (mise en scène, écriture, régie, comédie et études critiques doctorales) à endosser des rôles importants dans la production. "Des directeurs de la photographie venant de notre formation cinématographique nous ont conseillés sur l'aspect visuel, des étudiants en design ont construit un prototype de l'appareil d'AR Grasshopper et l'un de nos écrivains était issu du MFA en écriture de script", ajoute Jeff Burke, cofondateur du REMAP. "Nous avions également des étudiants qui travaillaient sur l'aspect logiciel de la production, notamment l'utilisation de l'Unreal Engine."
L'étape Unreal
Tout d'abord, un petit groupe d'étudiants de l'UCLA a été sélectionné pour étoffer le concept avec l'aide de membres expérimentés de la faculté et d'invités, parmi lesquels l'un des concepteurs de production de la série Le Maître du Haut Château. Les projets innovants du REMAP ne constituent pas un programme académique, mais ils offrent aux étudiants la possibilité de participer à des cours connexes à différents stades de la formation, leur permettant de perfectionner leurs acquis et de se préparer à travailler dans leurs domaines respectifs.Pour A Most Favored Nation, le REMAP a invité des étudiants venant de toutes les disciplines théâtrales (mise en scène, écriture, régie, comédie et études critiques doctorales) à endosser des rôles importants dans la production. "Des directeurs de la photographie venant de notre formation cinématographique nous ont conseillés sur l'aspect visuel, des étudiants en design ont construit un prototype de l'appareil d'AR Grasshopper et l'un de nos écrivains était issu du MFA en écriture de script", ajoute Jeff Burke, cofondateur du REMAP. "Nous avions également des étudiants qui travaillaient sur l'aspect logiciel de la production, notamment l'utilisation de l'Unreal Engine."
Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
Le REMAP avait déjà utilisé l'Unreal Engine 2.0 pour une pièce de théâtre en direct en 2006, mais l'équipe a trouvé l'Unreal Engine 4.24 beaucoup plus accessible que les versions précédentes. Cela a permis à des étudiants avec peu ou pas d'expérience du moteur de se familiariser avec ses capacités. "Quand l'idée de A Most Favored Nation est née, nous avons décidé d'utiliser l'Unreal Engine pour intégrer les éléments d'AR en raison de ses performances, ses fonctionnalités et sa stabilité", ajoute Jeff Burke. Il explique que la pièce faisait partie d'un groupe d'activités de l'UCLA qui exploitaient l'Unreal Engine et allaient des cours de prévisualisation de films aux performances à distance en pleine pandémie, en passant par la création d'environnements d'apprentissage immersifs.
Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
"Les blueprints se sont révélés un excellent moyen pour le REMAP d'inciter les gens qui n'avaient aucune expérience du code à utiliser le moteur", explique Jeff Burke en citant les fonctionnalités de l'Unreal Engine qu'il a le plus appréciées pendant le projet. "L'exposition de la caméra AR passthrough et des masques d'occlusion dans le système de matériaux nous a aussi beaucoup aidés à obtenir le résultat voulu."
Le REMAP a créé toute la composition de plans vidéo en direct, ce qui signifie que la même approche a pu être utilisée avec la vidéo en direct ou en réseau, et les plans vidéo préenregistrés. "L'équipe a utilisé le compositeur Composure plutôt que celui qu'elle avait développé par le passé", continue Jeff Burke, "et le fait de disposer d'un outil d'intégration en temps réel de haute qualité a facilité certains aspects et produit un résultat plus beau, malgré le peu de temps que nous avions."
Grâce à l'architecture de plug-ins de l'Unreal Engine, Jeff Burke et le développeur principal Peter Gusev ont également pu créer des composants réutilisables. Cette approche leur a non seulement fait gagner du temps, mais elle leur a permis de demander aux étudiants de se concentrer sur des tâches spécifiques comme la relocalisation par repère, la fonctionnalité de plans vidéo et le contrôle externe OSC. Comme tous les composants étaient basés sur le même code standard, les étudiants ont pu générer leurs propres plug-ins à l'aide de scripts Bash.
Le REMAP a créé toute la composition de plans vidéo en direct, ce qui signifie que la même approche a pu être utilisée avec la vidéo en direct ou en réseau, et les plans vidéo préenregistrés. "L'équipe a utilisé le compositeur Composure plutôt que celui qu'elle avait développé par le passé", continue Jeff Burke, "et le fait de disposer d'un outil d'intégration en temps réel de haute qualité a facilité certains aspects et produit un résultat plus beau, malgré le peu de temps que nous avions."
Grâce à l'architecture de plug-ins de l'Unreal Engine, Jeff Burke et le développeur principal Peter Gusev ont également pu créer des composants réutilisables. Cette approche leur a non seulement fait gagner du temps, mais elle leur a permis de demander aux étudiants de se concentrer sur des tâches spécifiques comme la relocalisation par repère, la fonctionnalité de plans vidéo et le contrôle externe OSC. Comme tous les composants étaient basés sur le même code standard, les étudiants ont pu générer leurs propres plug-ins à l'aide de scripts Bash.
Une nouvelle réalité
La réalité augmentée a aussi permis à l'équipe de continuer à travailler sur la pièce malgré la pandémie. En répartissant bien les tâches, en gérant soigneusement les ressources et en mettant l'accent sur les plug-ins, le REMAP a pu maintenir un flux de travail collaboratif au sein d'une équipe à distance. La pandémie de COVID-19 qui s'est abattue sur le monde n'a en rien empêché l'équipe de construire les décors et de concevoir la pièce, et elle a réussi à créer une maquette de toutes pièces sans mettre les pieds sur le lieu de la performance. Elle a même réussi à faire faire des essais aux comédiens en leur demandant de se filmer chez eux, puis en les intégrant dans l'environnement virtuel.
Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
Au plus fort de la pandémie, le long processus de prévis nécessaire à la création d'une réalité augmentée de qualité a également permis à l'équipe de comprendre comment les éléments en 3D et les éléments réels interagissaient, sans être physiquement présente sur le plateau. Et quand elle a pu investir ce dernier, l'équipe n'avait plus qu'à vérifier que tout fonctionnait correctement, plutôt que d'avoir à tout construire.
"La prévis est devenue essentielle à la fois en termes de distanciation sociale et d'accessibilité", confirme Ben Conran, concepteur éclairage, qui était aussi ingénieur Unreal sur le projet. "Nous nous sommes beaucoup servi de la prévis pour montrer l'AR aux metteurs en scène et aux comédiens qui ne pouvaient pas être présents physiquement ou pour éviter de construire quelque chose quand nous manquions de temps. Quand nous filmions un comédien sur fond vert pour ses performances en AR, la prévis en temps réel nous permettait de caler l'éclairage sur celui des espaces virtuels, et de donner au metteur en scène une chance de rectifier le jeu en direct."
"La prévis est devenue essentielle à la fois en termes de distanciation sociale et d'accessibilité", confirme Ben Conran, concepteur éclairage, qui était aussi ingénieur Unreal sur le projet. "Nous nous sommes beaucoup servi de la prévis pour montrer l'AR aux metteurs en scène et aux comédiens qui ne pouvaient pas être présents physiquement ou pour éviter de construire quelque chose quand nous manquions de temps. Quand nous filmions un comédien sur fond vert pour ses performances en AR, la prévis en temps réel nous permettait de caler l'éclairage sur celui des espaces virtuels, et de donner au metteur en scène une chance de rectifier le jeu en direct."
Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
Une autre difficulté était d'adapter la performance en direct aux restrictions sanitaires interdisant les gros rassemblements. Après de longues discussions, les étudiants ont décidé d'enregistrer chaque scène sur plusieurs téléphones de spectateurs, afin que les spectateurs suivants puissent choisir ce qu'ils voulaient regarder, comme ils l'auraient fait pendant la performance. Ils ont alors documenté la pièce comme une diffusion vidéo interactive pour que le spectateur puisse choisir quelle caméra regarder.
Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
Ensuite, la pièce a été jouée sur une grande scène qui avait été configurée comme un studio insonorisé. Chaque histoire avait un décor physique distinct, parfois deux, avec un décor en AR correspondant, afin de pouvoir montrer différentes chronologies au public dans un même espace sans que les gens voient et entendent la même chose.
Les enregistrements impliquaient que les scènes n'aient pas lieu simultanément, mais l'idée était d'utiliser des installations et des techniques théâtrales classiques pour isoler les sons, en faisant passer le public par des scènes d'interlude dans lesquelles il pouvait choisir à quel moment réintégrer l'histoire.
En dépit de ce constat, il reconnaît également que la distance naturelle entre les performances réelles et celles en réalité augmentée ont ajouté une dose frappante d'émotions à la pièce, renforçant l'idée de deux mondes distincts. Toutefois, créer un excellent spectacle n'était pas le seul objectif de l'équipe. Elle voulait aussi connaître l'impact de l'intégration de la réalité augmentée au récit sur le processus créatif et l'expérience du public. Et elle est parvenue à trois conclusions.
Premièrement, il est clair que l'AR peut être intégrée de manière efficace dans une performance immersive, et offre un moyen novateur et intéressant d'impliquer le public. La technologie devrait être capable de proposer des expériences commerciales d'ici quelques années. Deuxièmement, le REMAP a conclu que le résultat de son projet et les nombreux échanges qui avaient eu lieu avec ses participants confirmaient que la technologie gagnait à exister sous une certaine forme, à la fois dans le monde fictif et dans le monde réel. De cette façon, elle était au cœur de l'intrigue, en lien avec les personnages et ne constituait pas un simple gadget.
Les enregistrements impliquaient que les scènes n'aient pas lieu simultanément, mais l'idée était d'utiliser des installations et des techniques théâtrales classiques pour isoler les sons, en faisant passer le public par des scènes d'interlude dans lesquelles il pouvait choisir à quel moment réintégrer l'histoire.
La représentation
Au final, le public de la pièce était constitué de gens qui faisaient partie de la bulle de ses créateurs et d'invités qui ne la connaissaient pas, mais avaient participé aux enregistrements. "Ce qui en est ressorti, c'est que l'expérience en direct était vraiment captivante et très dure à retranscrire en enregistrement, malgré tous nos efforts", ajoute Jeff Burke.En dépit de ce constat, il reconnaît également que la distance naturelle entre les performances réelles et celles en réalité augmentée ont ajouté une dose frappante d'émotions à la pièce, renforçant l'idée de deux mondes distincts. Toutefois, créer un excellent spectacle n'était pas le seul objectif de l'équipe. Elle voulait aussi connaître l'impact de l'intégration de la réalité augmentée au récit sur le processus créatif et l'expérience du public. Et elle est parvenue à trois conclusions.
Premièrement, il est clair que l'AR peut être intégrée de manière efficace dans une performance immersive, et offre un moyen novateur et intéressant d'impliquer le public. La technologie devrait être capable de proposer des expériences commerciales d'ici quelques années. Deuxièmement, le REMAP a conclu que le résultat de son projet et les nombreux échanges qui avaient eu lieu avec ses participants confirmaient que la technologie gagnait à exister sous une certaine forme, à la fois dans le monde fictif et dans le monde réel. De cette façon, elle était au cœur de l'intrigue, en lien avec les personnages et ne constituait pas un simple gadget.
Image reproduite avec l'aimable autorisation de l'UCLA School of Theater, Film and Television / UCLA REMAP
Enfin, l'équipe a découvert que ce format générait de nombreuses discussions et idées sur l'équilibre d'un récit linéaire progressant de manière attrayante et intéressante aux yeux du public, et poussait à l'exploration.
"Créer un projet autour de l'Unreal Engine brouille les frontières entre théâtre, jeu vidéo, film et vidéo, créant une expérience multiplateforme et multiutilisateur", observe Jeff Burke. "Cette approche a généré un mélange tant apprécié de sophistication et d'accessibilité que le REMAP l'a adoptée pour de nombreux projets à long terme."
En ce qui concerne la suite, Jeff Burke a obtenu l'autorisation d'adapter le roman The City and The City, vainqueur du prix Hugo, sous forme de projet théâtral immersif en AR à l'UCLA. Comme A Most Favored Nation, ce projet sera mené de concert par la faculté et les étudiants, et l'objectif est de créer tous les éléments de la vie réelle et de la réalité augmentée dans l'Unreal Engine.
"Le fait d'avoir un seul environnement offrant une vision sélective de différents éléments selon que vous étiez sur un poste de travail de prévisualisation, un appareil mobile en AR ou tout autre appareil participant nous permettait d'improviser de nouveaux flux de travail et de résoudre les problèmes rapidement", ajoute Jeff Burke. "Nous avons travaillé de manière plus efficace et le public a pu partager un monde parallèle inédit avec ses personnages, et même y faire des choix. Je n'imagine pas travailler autrement. Cela nous a permis de créer une expérience captivante et beaucoup de gens m'ont dit n'avoir jamais rien vu de tel."
"Créer un projet autour de l'Unreal Engine brouille les frontières entre théâtre, jeu vidéo, film et vidéo, créant une expérience multiplateforme et multiutilisateur", observe Jeff Burke. "Cette approche a généré un mélange tant apprécié de sophistication et d'accessibilité que le REMAP l'a adoptée pour de nombreux projets à long terme."
En ce qui concerne la suite, Jeff Burke a obtenu l'autorisation d'adapter le roman The City and The City, vainqueur du prix Hugo, sous forme de projet théâtral immersif en AR à l'UCLA. Comme A Most Favored Nation, ce projet sera mené de concert par la faculté et les étudiants, et l'objectif est de créer tous les éléments de la vie réelle et de la réalité augmentée dans l'Unreal Engine.
"Le fait d'avoir un seul environnement offrant une vision sélective de différents éléments selon que vous étiez sur un poste de travail de prévisualisation, un appareil mobile en AR ou tout autre appareil participant nous permettait d'improviser de nouveaux flux de travail et de résoudre les problèmes rapidement", ajoute Jeff Burke. "Nous avons travaillé de manière plus efficace et le public a pu partager un monde parallèle inédit avec ses personnages, et même y faire des choix. Je n'imagine pas travailler autrement. Cela nous a permis de créer une expérience captivante et beaucoup de gens m'ont dit n'avoir jamais rien vu de tel."
Obtenez l'Unreal Engine dès maintenant !
Procurez-vous l'outil de création le plus ouvert et le plus avancé au monde.
L'Unreal Engine est livré prêt à l'usage, avec toutes les fonctionnalités et un accès inclus au code source complet.
L'Unreal Engine est livré prêt à l'usage, avec toutes les fonctionnalités et un accès inclus au code source complet.