そういった経験から、映像制作について学び始めたとき、視覚効果を多用する従来の制作現場では重要な部門が分散化していることが珍しくないと知って驚きました。主要なクリエイティブ業務の担当者によるセットでの作業から、ポスト プロダクションでビジョンを完全に実現するまでに、数週間、場合によっては数か月間かかることがあります。リアルタイム ゲーム エンジンのテクノロジーを使えば、状況を大きく変えられるチャンスがあるように思えました。
幸運にも、ジョン・ファヴロー氏は先進的な考え方の持ち主でした。マンダロリアンの撮影についてファヴロー氏が先駆的なビジョンを持っていたため、従来の映像制作の枠組みを一新させるチャンスが訪れました。
初めて会ったとき、ファヴロー氏は、リアルタイムのインタラクティビティとコラボレーションを制作プロセスに取り戻すことを楽しみにしていました。その目標を達成するために、新しいワークフローを試し、リスクを取る意思があることは明らかでした。こうした初期の話し合いが発展し、最終的に画期的なバーチャル プロダクション手法が確立されました。撮影用ステージを巨大な LED ウォールで囲み、そこにダイナミックに変化するデジタル セットを映し出しました。デジタル コンテンツはライブ プロダクション中にリアルタイムで反応し、操作できます。ILM とは、各要素をどのように組み合わせるかについてプランを練りました。こうして、大がかりな新しいシステムと一連のテクノロジーが完成し、制作にスピードが求められるテレビ シリーズの現場ではこれまで試みられたことのないスケールで展開されました。
撮影の際には、4 台の同期した PC で Unreal Engine を実行し、LED ウォールにリアルタイムで映像を映し出しました。そして、ウォール上の仮想的なシーン、ライティング、エフェクトを 3 人の Unreal オペレーターが同時に操作できました。LED ボリュームの中にいるスタッフも、iPad からシーンをリモートでコントロールし、監督や撮影監督と連携して作業ができました。このバーチャル プロダクション ワークフローは、マンダロリアン シーズン 1 の半分以上の撮影に使われました。制作陣は、ロケでの撮影を行う必要がなく、インカメラで正確なライティングと反射を適用して大量の複雑な VFX のショットをキャプチャでき、セットで協力してシーンについてイテレーションを行うことができました。Unreal Engine のリアルタイム機能とイマーシブな LED スクリーンを組み合わせて使うことで、以前は想像もできなかったようなクリエイティブの柔軟性が実現しました。
マンダロリアンは、刺激的な挑戦であっただけでなく、Unreal Engine のあらゆるユーザーに役立つツールを開発し、制作現場で実証するチャンスともなりました。制作において、マルチユーザー コラボレーション ツールが大きな役割を果たしました。また、nDisplay システムにより、マシンのクラスタで大量の画像を同期してリアルタイムでレンダリングできました。さらに、ライブ コンポジット システムにより、リアルタイムのプレビューが可能になりました。外部ソースとエンジンの接続機能にも力を入れ、たとえば撮影データをシーケンサーに取り込んだり、LED ウォールの環境を iPad から操作したりできるようにしました。これらの機能は 4.24 ですでに利用可能か、4.25 で近日利用可能になる予定です。
