Bild mit freundlicher Genehmigung von UCLA School of Theater, Film and Television / UCLA REMAP

Die Erschaffung einer alternativen Realität mittels erweiterter Realität: UCLA revolutioniert das Theater mit Unreal Engine

2. November 2022
Was würden Sie tun, wenn Sie die Chance bekämen, eine der berühmtesten dystopischen Geschichten aller Zeiten neu zu definieren? Für ein Team aus Studenten und Mitarbeitern des „Center for Research in Engineering, Media and Performance“ (REMAP) der UCLA – mit einer einzigartigen Mischung aus Studenten der Theater- und Ingenieurswissenschaften – war die Antwort klar: Packen wir’s an.

Mit Hilfe der Unreal Engine beschlossen sie, ein Theaterstück zu produzieren, das in der Welt der Streaming-Serie The Man in the High Castle von Amazon Studios spielt – und sich gleichzeitig um die Herausforderungen einer globalen Pandemie dreht. Das Ergebnis war eine atemberaubende Inszenierung mit erweiterter Realität (Augmented Reality, kurz: AR), die das Publikumserlebnis in den Theatern der UCLA noch über Jahre hinweg verändern wird. 
 
 

Die Vorbereitungen

„Wir wurden anfangs auf AR aufmerksam, weil es gut zu unseren Werten passt,“ so Mira Winck, die Co-Regisseurin der Produktion. „REMAP wurde gegründet, um Zusammenarbeit, Innovation und Kreativität unter den Studenten und der Fakultät zu fördern. Mit AR kann zusätzlich das Publikum einbezogen werden. Studenten, Fakultät und Publikum können in einem nicht-physischen Raum ein einzigartiges Erlebnis miteinander teilen. Wir wussten, dass AR ein großartiges Medium für Kunst mit einer Message sein kann, und beschlossen sofort, unser nächstes Projekt damit zu entwickeln.“

The Man in the High Castle handelt von überlappenden Zeitlinien und vorausschauenden gesellschaftspolitischen Themen. Damit schien diese Welt wie geschaffen für die neue Geschichte des AR-Projekts. Nachdem REMAP sich eine einzigartige Neuinterpretation von Philip K. Dicks Roman aus dem Jahr 1962 ausgedacht hatte, begannen sie mit der Suche nach Sponsoren und bewarben sich um einen Epic MegaGrant.

Es ging bei der Bewerbung um eine immersive Theateraufführung in der Welt von The Man in the High Castle, in der das Publikum eine AR-App namens The Grasshopper Lies Heavy nutzen würde, um eine parallele Geschichte zu verfolgen, die sich in einer anderen Zeitlinie abspielt. So kann das Publikum beispielsweise die Schauspieler auf der Bühne sehen, die eine beklemmende Realität darstellen, in der die Achsenmächte den 2. Weltkrieg gewonnen haben. Gleichzeitig können sie aber ihre AR-Geräte nutzen, um eine Welt zu sehen, die eher der Unseren ähnelt und in der Proteste gegen den Faschismus Hoffnung auf eine bessere Zukunft erwecken.
Bild mit freundlicher Genehmigung von UCLA School of Theater, Film and Television / UCLA REMAP
Der MegaGrant ermöglichte es dem Team, in der Unreal Engine mit AR zu experimentieren und gab ihnen außerdem die Ressourcen, um in der Unreal Engine mehrere Plugin-Vorlagen zu entwickeln, sodass Studenten zusammenarbeiten konnten, ohne dabei am selben Ort sein zu müssen. Das bedeutete, dass das Team anfangen konnte, Previs und AR-Komponenten über mobile und Workstation-Geräte zu entwickeln. Sobald die Plugin-Architektur fertig war, konnte die Produktion des Projekts mit dem Namen „A Most Favored Nation“ beginnen.
 

Unreal in Echtzeit

Zu Anfang wurde eine kleine Gruppe von UCLA-Studenten ausgewählt, um das Konzept gemeinsam mit einigen erfahrenen Fakultätsmitgliedern weiter auszuarbeiten. Dazu gesellten sich Gäste, wie etwa einer der Produktionsdesigner der tatsächlichen Serie The Man in the High Castle. REMAP ist zwar kein akademisches Programm, aber seine zukunftsweisenden Projekte verleihen Studenten die Möglichkeit, an verschiedenen Punkten der Planung entsprechende Kurse zu besuchen, wodurch sie ihre Fähigkeiten verfeinern und sich auf die Arbeit in ihren jeweiligen Branchen vorbereiten können. 

Für A Most Favored Nation lud REMAP Studenten aus allen Theaterdisziplinen ein – Regie, Drehbuch, Design, Bühnenmanagement, Schauspiel und kritische Studien für Doktoranden – um in der Produktion wichtige Aufgaben zu übernehmen. „Wir haben zum visuellen Erscheinungsbild den Rat von Filmemachern aus unserem Filmprogramm eingeholt; Designstudenten haben einen Prototypen des Grasshopper-AR-Geräts erstellt und einer der Autoren kam aus dem MFA-Programm Drehbuchschreiben,“ fügt REMAP-Mitbegründer Jeff Burke hinzu. „Außerdem waren Studenten am Software-Aspekt der Produktion beteiligt, einschließlich der Nutzung der Unreal Engine.“
Bild mit freundlicher Genehmigung von UCLA School of Theater, Film and Television / UCLA REMAP
REMAP hatte zuvor bereits 2006 die Unreal Engine 2.0 für eine Live-Theaterproduktion eingesetzt, und das Team fand die Unreal Engine 4.24 sehr viel zugänglicher als die vorherigen Versionen, wodurch Studenten mit wenig bis keiner Erfahrung mit der Unreal Engine ihre Möglichkeiten kennenlernen konnten. „Als A Most Favored Nation erdacht wurde, haben wir beschlossen, dass die Unreal Engine die nötige Leistung, Stabilität und die nötigen Funktionen bieten würde, um AR-Elemente einzubauen,“ sagt Burke und erklärt, dass die Produktion Teil einer Gruppe von Aktivitäten an der UCLA darstellt, die sich um die Unreal Engine drehten. Dazu gehörten Film-Vorvisualisierungskurse, virtuelle Remote-Aufführungen während der Pandemie und immersive Lernumgebungen.
Bild mit freundlicher Genehmigung von UCLA School of Theater, Film and Television / UCLA REMAP
„Es stellte sich heraus, dass Blueprints eine fantastische Möglichkeit darstellte, mit der wir bei REMAP Menschen ohne jeden Coding-Hintergrund in die Nutzung der Engine involvieren konnten,“ erklärt Burke, als er seine Lieblingsfunktionen der Unreal Engine für das Projekt aufzählt. „Ein weiterer wichtiger Aspekt für die Herstellung des gewünschten Erscheinungsbilds waren die Belichtung der AR-Passthrough-Kamera und Okklusionsmasken im System des Materials.“ 

REMAP hat das gesamte Compositing der Videoebene live durchgeführt, das bedeutete, dass dieselbe Vorgehensweise mit Live- und Netzwerkvideos und voraufgezeichneten Videoebenen eingesetzt werden konnte. „Das Team borgte sich den Composure-Compositor aus, nachdem es in der Vergangenheit einen eigenen entwickelt hatte,“ fährt Burke fort. „Die Nutzung eines hochwertigen Echtzeit-Keyers sorgte dafür, dass selbst mit begrenzter Zeit einiges einfacher war und besser aussah.“

Die Plugin-Architektur der Unreal Engine bedeutete außerdem, dass Burke und Chefentwickler Peter Gusev wiederverwendbare Komponenten entwickeln konnten. Diese Herangehensweise sparte nicht nur wertvolle Zeit, sondern sie bedeutete außerdem, dass die beiden Studenten einsetzen konnten, um an Plugins für spezifische Aufgaben zu arbeiten, wie Relokalisierung von Passermarken, Videoebenen-Funktionalität und externe OSC-Steuerung. Da jede Komponente auf demselben Standardcode basiert, konnten Studenten mit Bash-Script ihre eigenen Plugins generieren.
 

Eine neue Realität

Die Arbeit mit AR-Technologie bedeutete auch, dass das Team selbst während der Pandemie an der Show arbeiten konnte. Gute Sublevel-Organisation, sorgfältiges Asset-Management und der Schwerpunkt auf Plugins bedeutete, dass REMAP einen kollaborativen Arbeitsablauf mit einem Remote-Team sicherstellen konnte. Als die COVID-19-Pandemie über den Globus fegte, konnte sie das Team nicht davon abhalten, Bühnenbilder zu bauen und ihre Show zu entwerfen und sogar ein komplettes Mockup anzufertigen, ohne je den Aufführungsort zu betreten. Sogar die Schauspieler konnten getestet werden, indem sie sich zu Hause selbst filmten und dann in eine virtuelle Umgebung projiziert wurden.
Bild mit freundlicher Genehmigung von UCLA School of Theater, Film and Television / UCLA REMAP
Mitten in der Pandemie bedeutete der umfangreiche Previs-Prozess für die Produktion von gutem AR auch, dass das Team verstehen konnte, wie reale und 3D-Elemente miteinander interagieren würden, ohne tatsächlichen Zugriff auf das Set zu haben. Sobald das Set verfügbar war, musste das Team nur sicherstellen, dass alles wie erwartet funktionieren würde, und nicht mehr komplett von vorn anfangen.

„Previs wurde sowohl aufgrund von Social Distancing als auch aufgrund der Zugänglichkeit zu einem wichtigen Punkt,“ sagte Beleuchtungsdesigner Ben Conran, der gleichzeitig für das Projekt als Unreal-Engine-Programmierer fungierte. „Wir haben uns sehr darauf verlassen, AR über Previs zu zeigen, sowohl für Regisseure und Schauspieler, die nicht vor Ort sein konnten, als auch um den Bauvorgang zu umgehen, wenn die Zeit knapp war. Als wir im Greenscreen das Material aufnahmen, das die AR-Aufführungen der Schauspieler sein würde, konnten wir mit Hilfe des Echtzeit-Previs die Beleuchtung an die Stimmung der AR-Räume anpassen und gaben dem Regisseur so die Möglichkeit, die Auftritte live und während der Aufzeichnung zu bearbeiten und zu verfeinern.
Bild mit freundlicher Genehmigung von UCLA School of Theater, Film and Television / UCLA REMAP
Außerdem bestand noch die Schwierigkeit, die Live-Aufführung an die Pandemie-Einschränkungen anzupassen, bei denen keine großen Menschenansammlungen erlaubt waren. Nach einigen Diskussionen beschlossen die Studenten, die einzelnen Szenen über mehrere Handies des Publikums Live-To-Tape aufzuzeichnen, was den späteren Zuschauern die Wahl gab, was sie ansehen wollten, genau wie in der Aufführung. Sie dokumentierten das Stück dann als interaktiven Video-Stream und gestatteten es dem Zuschauer so, auszuwählen, welche Publikumskamera sie verfolgen wollten.
Als nächstes wurde die gesamte Handlung auf einer großen Theaterbühne aufgeführt, die als Tonbühne eingerichtet worden war. Jeder Handlungsstrang hatte ein eigenes physisches Set, in manchen Fällen sogar zwei, mit einem entsprechenden AR-Set, um dem Publikum verschiedene Zeitebenen am gleichen Ort zeigen zu können, ohne dass sie dasselbe sehen und hören würden.

Die Live-To-Tape-Herangehensweise bedeutete, dass die Szenen nicht zeitgleich abliefen, sondern der Zweck bestand darin, Standard-Aufbauten und Theatertechniken zu nutzen, um eine Schallisolierung zu erreichen und das Publikum durch Einführungsszenen zu führen, in denen sie auswählen konnten, wo sie wieder in die Geschichte einsteigen wollten.
 

Zeit für die Vorführung

Am Ende bestand das Publikum der Show aus Menschen, die sie bereits aus ihrer COVID-Blase kannten und Gästen, die nichts über das Stück wussten, die aber an dem Live-to-Tape-Prozess teilnehmen wollten. „Eine durchgehende Erkenntnis war, dass das Live-Erlebnis äußerst ansprechend war, sich aber nur schwer durch Aufnahmen vermitteln ließ, egal wie sehr wir es versuchten,“ fügt Burke hinzu.

Trotz dieses Eingeständnisses räumt Burke aber auch ein, dass die zwangsläufige Distanz zwischen realen und AR-Aufführungen der Show eine fesselnde emotionale Ebene verlieh, und das Gefühl von zwei getrennten Welten stellte sich als ein sehr gut dazu passendes Thema heraus. Natürlich war es nicht das einzige Ziel des Teams, eine tolle Show zu bieten. Sie wollten außerdem herausfinden, wie die Integration von AR in die Geschichte sich auf den kreativen Prozess und auf die Publikumserfahrung auswirken würde. Das Projekt gab ihnen drei wichtige Erkenntnisse.

Zuallererst scheint klar, dass AR effektiv in immersive Aufführungen integrierbar ist und eine neue und interessante Möglichkeit bietet, mit dem Publikum zu interagieren. Die Technologie wird möglicherweise schon in wenigen Jahren bereit sein, kommerzielle Erlebnisse bieten zu können. Als Zweites stellte REMAP als Ergebnis der Arbeit und vieler Gespräche mit den am Projekt Beteiligten die Vorteile dessen fest, dass die Technologie in einer bestimmten Form innerhalb der fiktionalen Welt sowie in der realen Welt existierte. So stand sie im Zentrum des Dramas, war auch den Charakteren wichtig und mehr als nur eine originelle Idee.
 
Bild mit freundlicher Genehmigung von UCLA School of Theater, Film and Television / UCLA REMAP
Und als Letztes stellten sie fest, dass dieses Format eine Menge Diskussionen und Ideen zur Balance aus einer linearen Handlung hervorbrachte, die sich auf eine für ein Publikum spannende und interessante Weise entwickelt, was Möglichkeiten bot, dies zu erkunden.

„Ein Projekt, das um die Unreal Engine herum aufgebaut ist, lässt die Grenzen zwischen Theater, Gaming, Film und Video verschwimmen und schafft so ein Multiplattform- und Multi-User-Erlebnis,“ so Burke. „Es bot uns eine erfreuliche Mischung aus ausgefeilter Technik und Zugänglichkeit, dass REMAP die Methoden langfristig und für mehrere Arten von Projekten übernehmen wird.“ 

Als nächstes hat Burke nun die Erlaubnis erhalten den Hugo-preisgekrönten Roman Die Stadt & Die Stadt an der UCLA als AR- und immersives Theaterprojekt zu bearbeiten. So wie auch A Most Favored Nation werden auch in diesem Projekt wieder Fakultät und Studenten zusammenarbeiten, und es ist geplant, alle realen und AR-Elemente in der Unreal Engine zu erstellen.

„Die Idee, dass wir eine einzige Umgebung hatten, die eine selektive Sichtbarkeit verschiedener Elemente bot, je nachdem, ob man eine Previs-Workstation, ein AR-Mobilgerät oder ein anderes teilnehmendes Gerät verwendete, bedeutete, dass wir neue Arbeitsabläufe improvisieren und Probleme schnell lösen konnten,“ fügt Burke hinzu. „Wir konnten effizienter arbeiten und unser Publikum konnte mit unseren Charakteren eine brandneue Parallelwelt teilen, und in dieser Welt sogar Entscheidungen treffen. Ich kann mir nicht mehr vorstellen, auf eine andere Art zu arbeiten. Es war eine fesselnde und einnehmende Erfahrung, die sich, wie mir mehrmals gesagt wurde, völlig neu anfühlte.“
 

    Sichern Sie sich die Unreal Engine noch heute!

    Sichern Sie sich das offenste und fortschrittlichste Werkzeug der Welt.
    Die Unreal Engine wird mit allen Funktionen und vollem Zugriff auf den Quellcode geliefert und ist sofort einsatzbereit.
    Besuchen Sie uns online oder persönlich auf der GDC 2024.
    Event
    17. Januar

    Besuchen Sie uns online oder persönlich auf der GDC 2024.

    Schauen Sie sich State of Unreal an, um die neuesten Ankündigungen zu Epic und unseren Partnern zu erhalten, vertiefen Sie sich in unsere Tech-Talks und lassen Sie sich von unseren Sitzungen und dem Learning Theater inspirieren und informieren.
    Besuchen Sie uns online oder persönlich auf der GDC 2024.
    Event

    Besuchen Sie uns online oder persönlich auf der GDC 2024.

    Schauen Sie sich State of Unreal an, um die neuesten Ankündigungen zu Epic und unseren Partnern zu erhalten, vertiefen Sie sich in unsere Tech-Talks und lassen Sie sich von unseren Sitzungen und dem Learning Theater inspirieren und informieren.
    GDC 2023
    Event
    15. Februar

    GDC 2023

    Besuchen Sie Epic Games auf der GDC 2023 für State of Unreal, faszinierende Tech-Vorträge und die Gelegenheit, die neuesten Unreal Engine-Spiele an unseren Ständen auf der Showbühne zu spielen. 
    GDC 2023
    Event

    GDC 2023

    Besuchen Sie Epic Games auf der GDC 2023 für State of Unreal, faszinierende Tech-Vorträge und die Gelegenheit, die neuesten Unreal Engine-Spiele an unseren Ständen auf der Showbühne zu spielen. 
    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024
    Neuigkeiten
    6. Februar

    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024

    Fantasy-Inneneinrichtung, stilisierte Kristallminen, eine Reise zurück in die Neunziger und vieles mehr – die kostenlosen 3D-Assets im Februar auf dem Unreal Engine Marketplace sind da!
    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024
    Neuigkeiten

    Kostenlose Inhalte auf dem Unreal Marketplace – Februar 2024

    Fantasy-Inneneinrichtung, stilisierte Kristallminen, eine Reise zurück in die Neunziger und vieles mehr – die kostenlosen 3D-Assets im Februar auf dem Unreal Engine Marketplace sind da!