拡張現実内での代替現実の構築：UCLA が Unreal Engine で劇場を再定義

2022年11月2日

ディストピアの物語として史上最も有名な作品の 1 つを作り直すチャンスがあるとしたらどうしますか？カリフォルニア大学ロサンゼルス校 (UCLA) の Center for Research in Engineering, Media and Performance (REMAP) は、演劇を専攻する学生とエンジニアリングを専攻する学生が混ざり合うユニークな場所です。その学生と職員たちは、迷うことなく仕事に取りかかりました。

学生と職員たちは、世界的なパンデミックがもたらした課題を克服しながら、Unreal Engine を活用して、Amazon Studios の配信ドラマシリーズ、高い城の男の世界を題材にした劇場でのオリジナルの公演を制作することにしました。その結果できあがった拡張現実のすばらしいエクスペリエンスは、今後数年間にわたり、UCLA の劇場でのオーディエンスの体験を変えようとしています。

シーンの設定

制作の共同ディレクターを努めた Mira Winick 氏は、AR に取り組むことになった経緯について次のように述べています。「AR に関心を持つようになったのは、それが私たちの価値観とマッチするからでした。REMAP は、学生と職員、両方の間でコラボレーションを通じてイノベーションとクリエイティビティを推進することを目的に創設されました。AR を使えば、オーディエンスもそこに加わることができる可能性があります。学生、職員、オーディエンスが、現実のものではない空間を舞台にした 1 つのユニークなエクスペリエンスを共有できます。これはメッセージを持つアートに適したメディアになると考え、次のプロジェクトでは AR に関するものを制作すると決めました」

高い城の男は、時間軸が異なる複数の世界が登場し、将来を予見した社会政治的なテーマを扱う物語です。その作品世界を舞台にしたオリジナルのストーリーは、AR のプロジェクトに最適と思われました。フィリップ・K・ディックによる 1962 年の小説を独自に再創造しようとした REMAP は、スポンサー集めを始めるとともに、Epic MegaGrants に申し込みました。

プロジェクトは次のようなものになると宣伝されました。高い城の男の世界を舞台にした劇場でのイマーシブな AR パフォーマンスが制作されます。そこでは、オーディエンスはイナゴ身重く横たわると呼ばれる AR アプリケーションを使用します。このアプリケーションを使うと、異なる時間軸で展開される平行世界を見ることができます。たとえば、枢軸国側が第二次世界大戦に勝利したあとの抑圧的な社会の様子が、俳優たちによってオーディエンスの目の前で示されます。そして、AR デバイスを使用することで、より現実に近い別の世界を見ることができます。そこではファシズムへの抗議行動が展開されており、より良い世界への希望が生まれます。

Image courtesy of UCLA School of Theater, Film and Television / UCLA REMAP

MegaGrants を受賞したことにより、チームは Unreal Engine を使った AR について調査できるようになったほか、複数の Unreal Engine プラグインテンプレートを開発するリソースを得ることもできました。それらのテンプレートを使うことで、学生たちは同じ場所にいなくても協力して作業を進められるようになりました。これにより、チームはモバイルデバイスとワークステーションデバイスの両方を対象に、プリビジュアライゼーションと AR のコンポーネントの開発を始めることができました。プラグインのアーキテクチャが完成したところで、このプロジェクト、A Most Favored Nation の制作を開始する準備が整いました。

Unreal の活用

まず、コンセプトを具体的なものにするために、UCLA の少数の学生が選ばれ、経験豊富な職員およびゲストと協力して作業にあたりました。ゲストのなかには、高い城の男のドラマシリーズのプロダクションデザイナーもいました。これは教育目的のプログラムではありませんでしたが、REMAP の先進的なプロジェクトでは、学生はプロセスの各段階でさまざまなコースに参加する機会を得ることができます。そうやってスキルを磨き、それぞれが目指す業界で働く準備をします。

A Most Favored Nation のプロジェクトでは、REMAP は、演出、脚本、デザイン、舞台管理、演技、博士課程の批判的研究など、演劇関連のすべての分野から学生を参加させ、制作における重要な役割を任せました。REMAP の共同創業者、Jeff Burke 氏は次のように述べています。「映画のプログラムからは撮影監督が参加し、ビジュアル面で見た目や感覚について助言しました。デザインを専攻する学生はイナゴ身重く横たわるの AR デバイスのプロトタイプを作成しました。脚本家の 1 人は修士課程のシナリオ制作プログラムの学生でした。Unreal Engine の利用を含めて、制作のソフトウェア面にも学生を関与させました」

Image courtesy of UCLA School of Theater, Film and Television / UCLA REMAP

REMAP では 2006 年ごろに劇場でのライブプロダクションのために Unreal Engine 2.0 を使ったことがありましたが、Unreal Engine 4.24 は以前のバージョンよりもはるかに使いやすくなっていることがわかりました。Unreal Engine を使った経験が少ないか、まったくない学生でも、その機能を理解できるようになっていました。「A Most Favored Nation の着想を得たときに、Unreal Engine を使えば、AR の要素を加えるために必要なパフォーマンス、機能、安定性を得ることができると判断しました」と Burke 氏は述べています。このプロジェクトのための制作は、UCLA での Unreal Engine に関する一連の活動の一部でした。ほかには、映画のプリビジュアライゼーションのコース、パンデミックの期間中のリモートのバーチャルパフォーマンス、イマーシブな学習環境などのために Unreal Engine が使われてました。

Image courtesy of UCLA School of Theater, Film and Television / UCLA REMAP

Burke 氏はプロジェクトで使用した Unreal Engine の機能のうち気に入っているものについて、次のように述べています。「REMAP では、ブループリントを利用することで、コーディングの経験がない人でもエンジンを使うことができました。AR パススルーカメラの露出とマテリアルシステム内のオクルージョンマスクも、望み通りの見た目と感覚を得るために重要な役割を果たしました」

REMAP はすべてのビデオプレーンの合成をリアルタイムで行いました。つまり、リアルタイムまたはネットワークされたビデオと、あらかじめ録画されたビデオのプレーンに対して、同じアプローチを使うことができました。「従来は独自のものを開発していましたが、コンポジターとして Composure を利用することにしました。高品質のキーイングをリアルタイムで行えるようにすることで、時間が限られているなかでもさまざまな要素を簡単に作成し、見た目を良くすることができました」と Burke 氏は述べています。

Unreal Engine のプラグインアーキテクチャにより、Burke 氏とリードデベロッパーの Peter Gusev 氏は、再利用可能なコンポーネントを開発することもできました。このアプローチにより、貴重な時間を節約できただけでなく、2 人は、基準位置の決め直し、ビデオプレーンの機能、外部 OSC の制御など、特定のタスク用のプラグインについての作業を学生に依頼することもできました。各コンポーネントは同じボイラープレートコードに基づいて作られるため、学生は bash スクリプトを使って独自のプラグインを生成できました。

新しい現実

AR テクノロジーを使っていたため、チームはパンデミックの最中でも作業を進めることができました。サブレベルを適切に整理し、アセットを慎重に管理して、プラグインを重視したことにより、REMAP はコラボレーションを活用したワークフローをリモートのチーム全体で活用できました。COVID-19 のパンデミックが世界中で猛威を振るったなかでも、それはあまり支障にはなりませんでした。チームは引き続きセットを作り、デザインを決め、パフォーマンスが展開される空間に足を踏み入れることなく全体のモックアップを作成しました。俳優に自宅で自分を撮影してもらい、それを仮想環境に取り込んで俳優のテストを行うことさえできました。

Image courtesy of UCLA School of Theater, Film and Television / UCLA REMAP

優れた AR エクスペリエンスを制作するには、広範囲にわたるプリビジュアライゼーションのプロセスが必要です。このプロセスにより、パンデミックの影響でセットに物理的にアクセスできなくても、3D と現実の要素がどのように相互作用するかを理解できました。セットを利用できるようになった時点で、ゼロからデザインする必要はなく、物事が想定通りに機能することを確認するだけで済みました。

ライティングデザイナーであり、このプロジェクトでは Unreal エンジニアも務めた Ben Conran 氏は次のように述べています。「プリビジュアライゼーションは、ソーシャルディスタンスとアクセシビリティ、両方の観点から非常に重要になりました。実際の空間に行くことができないディレクターと出演者に AR がどのようになるか見せるために、プリビジュアライゼーションに頼りました。また、時間が限られている場合にビルドプロシージャーを回避するためにもプリビジュアライゼーションを使いました。AR 用の俳優の演技をグリーンスクリーンを使って撮影する際には、リアルタイムのプリビジュアライゼーションを利用することで、ライティングを AR 空間のトーンに合わせて調整できました。また、ディレクターは撮影中に演技を監修し、リアルタイムで改善を加えることができました」

Image courtesy of UCLA School of Theater, Film and Television / UCLA REMAP

パンデミックに伴う規制により、大人数で集まることが禁止されていたので、ライブパフォーマンスをその規制に適応させるという課題もありました。長い時間をかけて話し合った結果、学生たちは、それぞれのシーンを複数のオーディエンスのスマートフォンで撮影し、後に視聴者がどの映像を見るか選べるようにしました。こうすることで、実際に演技を見る場合と同じような体験ができます。それぞれの映像をインタラクティブなビデオストリームとして記録し、どのオーディエンスのカメラの映像を見るか視聴者が選択できるようにしました。

Image courtesy of UCLA School of Theater, Film and Television / UCLA REMAP

次に、サウンドステージとして構成された、劇場の大きなステージで、すべての演技を行いました。それぞれのストーリーラインには、個別の物理的なセットがあり、場合によっては 2 つありました。それに対応する AR のセットもあり、同じ空間にいながら同じものを見聞きすることなく、オーディエンスに異なる時間軸を見せることができるようになっていました。

撮影したものを見せるアプローチでは、シーンは並行して進むわけではありませんが、標準的な設備と演劇の手法を用いながら音を分離することが目的でした。オーディエンスは幕あいのシーンに移り、そこでどこからストーリーに再度入り込むかを選択できます。

ショータイム

最終的に、公演のオーディエンスは、COVID 下で集団に参加していたおかげで公演について知っていた人と、公演については知らなかったが撮影のプロセスに参加しに来たゲストで構成されました。「はっきりとわかったのは、ライブのエクスペリエンスは非常に訴求力があるもので、努力しても録画で伝えるのは難しいということでした」

そう認めながらも、Burke 氏は、現実の演技と AR の演技には距離があるという事実により、公演には説得力のある感情的なレイヤーが加えられたと考えています。分離した 2 つの世界があるという感覚は、作品のテーマによくフィットしています。もちろん、チームの目標は優れた公演を届けることだけではありませんでした。ストーリーに AR を組み込むことがクリエイティブのプロセスとオーディエンスのエクスペリエンスにどう影響するかを知ることも目的でした。その点では 3 つ発見がありました。

1 つ目は、AR をイマーシブなパフォーマンスに効果的に組み込めるということです。それによって、オーディエンスと関わるための新しい興味深いアプローチが可能になります。そのテクノロジーは数年以内に商業的なエクスペリエンスで利用できるようになると考えられます。2 つ目に、プロジェクトの成果と関係者との多くの会話から、フィクションの世界と現実の世界に何らかの形で AR のテクノロジーが存在することのメリットが認められました。このテクノロジーは、単なるギミックではなく、ドラマの中心で、キャラクターに関わるものとなりました。

Image courtesy of UCLA School of Theater, Film and Television / UCLA REMAP

最後に、この形式は、オーディエンスが興味を持って楽しめる直線的なストーリー展開のバランスについて多くの議論を生み、アイデアをもたらしたので、その点について調査するチャンスが生まれました。

「Unreal Engine を中心にプロジェクトを進めると、劇場、ゲーム、映画、ビデオの境界があいまいになり、マルチプラットフォームのマルチユーザーエクスペリエンスができあがります。洗練され、アクセシビリティの高いものができたので、REMAP では長期的にさまざまなプロジェクトで Unreal Engine を導入していきます」と Burke 氏は述べています。

次のプロジェクトとして、AR とイマーシブな劇場のプロジェクトを UCLA で制作するために、Burke 氏は、ヒューゴー賞を獲得した小説、都市と都市を原作として使う許諾を得ています。A Most Favored Nation と同様に、このプロジェクトにも職員と学生が協力して取り組みます。また、現実と AR の要素すべてを Unreal Engine 内で構築する予定です。

Burke 氏は次のように述べています。「プリビジュアライゼーションのワークステーションを使っているか、AR 対応のモバイルデバイスを使っているか、その他のデバイスで参加しているかに応じて、1 つの環境でさまざまな要素の見え方を選べるようにしました。こうすることで、新しいワークフローを即席で作り出し、問題を迅速に解決できました。作業の効率が上がり、オーディエンスはまったく新しい平行世界をキャラクターと共有し、その世界の中で選択を行うことすらできました。もうこれ以外の作業の進め方は想像できません。説得力があり魅力的な、まったく新しいエクスペリエンスを作るために役立つやり方です」

今すぐ Unreal Engine を入手しましょう。

世界で最もオープンで高度な制作ツールを手に入れましょう。
Unreal Engine は、すべての機能がすぐに使える状態で、すべてのソースコードにアクセスできます。

今すぐ始めましょう