学生たちが Unreal Engine と VR を活用してプラネタリウム向けの複雑なショーを迅速に開発

Hyunwoo Lee |
2021年1月20日
現在ソウル芸術大学でデジタル アートを専攻している Hyunwoo Lee 氏は、インタラクティブな展示会やショー向けのコンテンツの作成に活発に取り組み、Unreal Engine をさまざまなセンサーと結び付けています。Lee 氏は、コンテンツの開発とデザインを行うプロジェクトにおいて、多くの場合でアートと技術の面で貢献しています。ONENESS プロジェクトのために同じ学校の学生である Kyuri Kim 氏、Yesong Lee 氏、Joo-yeol Kim 氏、Jiwon Kim 氏と 5 人のチームを結成し、ディレクター兼テクニカル アーティストとしてチームを率いました。
私たちは韓国のソウル芸術大学の学生のチームです。デジタルアート専攻が 4 人、応用音楽専攻が 1 人で構成されています。この記事では、私たちがプロジェクト ONENESS をどのように作成したかをご紹介します。このプロジェクトは、国立果川科学館のプラネタリウムで上映されたほか、Student Showcase Fall 2020 の映像でも取り上げられています。
 


ソウル芸術大学での Unreal Engine 教育

ソウル芸術大学は優れた Unreal Engine 教育を提供しています。私たちが学生でありながらこのような大規模プロジェクトを完成させることができたのは、主にこの教育のおかげです。メディア アートの作成における Unreal Engine の可能性を認めたソウル芸術大学は、2011 年からデジタル アート専攻の学生に Unreal Engine について教えています。学生は Unreal Engine の基礎を学び、建築ビジュアライゼーション、シネマティクス、ゲーム開発の課題に取り組んで、さまざまな目的での Unreal Engine の利用について探っています。

このプロセスを通じて多くの学生が効率的に経験を積み、その経験を VR、AR、インタラクティブ ショー、展示会などの専門分野に適用できるようになっています。私たちのチームもこの教育から大きなメリットを得てきました。過去 2 年間にわたって Unreal Engine を使い、シネマティクス、インタラクティブ アート、メディア パフォーマンスなど、さまざまなプロジェクトを作成してきました。
 

ONENESS の始まりから最終公開までの振り返り

ONENESS プロジェクトは、信憑性のある宇宙を見る VR のビデオ コンテンツとして開始されました。開発中に、国立果川科学館で映画祭が開催されることを知り、プロジェクトをそのイベントに合わせたものにしました。

しかし、そのおかげで時間の面で大きな問題が生じました。大規模なプラネタリウム ドーム向けのコンテンツを作成するには、普通は膨大な時間とコストがかかります。私たちは 15 分の映像をわずか 3 か月で完成させる必要がありました。それでも、これは直径 25 メートルの巨大なプラネタリウムで自分たちの作品を上映する大きなチャンスだと考えました。また、何より重要なこととして、私たちは Unreal Engine の強力なリアルタイム レンダリングを活用すればこの問題を解決できると信じていました。 
国立果川科学館のプラネタリウムの外観と内部
プラネタリウムでの展示の 1 シーン

デザイン

ONENESS プロジェクトのテーマは人類と宇宙です。宇宙の歴史は人類の記憶の一形態であるというメッセージを伝えたいと考えました。そこで、ビッグバンから人間による文明の始まりまでの長い歴史を 15 分にまとめて、生命の道のりを見るような 1 つの長いテイクにしました。また、時間と空間を超越したシーンを視覚化すると同時に、全体的な展開と重要なシーンについては科学的に根拠があるものにしたいと考えました。この目的を達成するために、チームでは、宇宙科学のさまざまな理論を学んでシーンを計画し、天体物理学の教授や研究者に助言を求めました。Unreal Engine のブループリント システムと Niagara がなければ、私たちのデザインを実現することは難しかったでしょう。
すべての生物の最終共通祖先 (LUCA) の発生を描くシーン

Niagara のパーティクル

ONENESS のシーンの大半は宇宙空間が舞台なので、実際の物体よりも抽象的な分子の視覚化のほうが映像の美しさに大きな影響を与えることになります。そこで、このプロジェクトではパーティクルが重要な役割を担いました。Unreal Engine の新しいパーティクル システム Niagara を積極的に活用することになったのは自然な流れでした。

モジュールをスタックするという Niagara のやり方は非常に直感的で、このシステムを初めて使うアーティストでも自分が望むパーティクルを簡単に作成できます。しかし、Niagara で作成したパーティクルをシーケンサーで使用する場合、美しいディテールを作ろうとすると、一般的なエフェクトの作成で制限があることがわかりました。
 
Niagara のパーティクルのタイミングを、ほかのさまざまな要因やシーケンサーのキーフレーム アニメーションのタイミングと合わせる必要がありましたが、私たちが Niagara で使っていた方法では、複雑なタイミングを合わせることが困難でした。すべての視覚化はシーケンサー内で完了するので、シーケンサー内でリアルタイムに Niagara をプレビューし、制御する方法が必要でした。

幸いなことに、Niagara のユーザー定義パラメーターによって、私たちが求めていた機能を実現できました。シーケンサー内でユーザー定義パラメーターを Niagara から呼び出し、キーフレームを制御のために使用できました。 
Niagaraと シーケンサーのワークスペース
モジュールの変数のうち、オパシティ、サイズ、スピードなどは映像の指示に従って動的に制御する必要がありました。これらをユーザー定義パラメーターに置き換え、シーケンサーから制御しました。ほかのアクターと同様に、Niagara のパーティクルはシーケンサーでリアルタイムに表示できました。これによって、最終的なシーンを直ちに確認できるようになり、映像制作プロセスが大幅に改善されました。より複雑な制作が可能になり、さまざまなビジュアルをすぐに試せるようになりました。
シーンのトランジションへの Niagara の利用
シーケンサーで Niagara を柔軟に制御できたことは、1 テイクの映像にとっては特に重要でした。Niagara の各種システムを同時に表示し、制御できたことで、カットを編集したりトリックを使ったりすることなく、メインのシーンのトランジションをスムーズにつなげることができました。 

ブループリントを使ったシミュレーションの作成

ONENESS のメイン シーンの大半は、宇宙の歴史における重要なイベントと物理的な現象を再現するものです。そのようなシーンを作成するために、ONENESS でも多くの映像制作と同様に、シーケンサーのキーフレーム アニメーションを使用しました。しかし、シーケンサーのアニメーションを使う方法では再現できなかったであろう、難しいシーンがいくつもありました。たとえば、ビッグバンの数マイクロ秒 (10 のマイナス 6 乗秒) 後から 38 万年後までの期間を描くシーンです。このシーンでは、陽子と中性子が結合し、電磁的な力によって反発し合うことで、4 種類の原子核を形成します。私たちは、原子核に必要な中性子と陽子が結び付く、原子の形成プロセスを視覚化する必要がありました。
陽子と中性子による原子核形成の構造
この複雑なインタラクションを宇宙環境全体にわたって起こす必要がありました。ロジックを数百のオブジェクトに適用することになり、キーフレームのアニメーションを自力で設定することは不可能でした。このシーンを効率的に作成するために、シーケンサー以外の手段が必要でした。

ブループリントがその答えとなりました。陽子と中性子がヘリウムを形成するプロセスを定義し、ブループリントを使ってパーティクルが自動的に動き、反応するようにしようとしました。そうすれば、シミュレーションだけでシーンを完成させることができ、シーケンサーのキーフレーム アニメーションは必要なくなります。まず、陽子と中性子のクラスを定義しました。
中性子のブループリントと定義のマップ
上のマップは、陽子と中性子のクラスをどのように定義したかを示しています。すべてのパーティクルは、オーバーラップへの反応が始まるまで空間を漂い、ステータスに応じて振る舞います。たとえば、1 個の陽子が 1 個の重水素原子とぶつかると、ヘリウム 3 の原子核ができます。ヘリウム 3 の原子核同士がぶつかると、ヘリウム 4 の原子核ができ、その過程で陽子が 2 個放出されます。シーケンサーの代わりにブループリントのタイムライン機能を使い、その反応の瞬間におけるパーティクルの動きとマテリアルのアニメーションを作成しました。

ブループリントを使って集団のインタラクションとアニメーションを作成してからは、シーケンサーの複雑なアニメーションなしで以降のシーンを完成させることができました。必要に応じて複数のクラス イベントをトリガーするために、イベントのキーフレームをいくつかシーケンサーに追加するだけで済みました。
陽子の形成のシミュレーション
原始の太陽系における惑星の形成のシミュレーション
このような科学的な現象をシーケンサーで再現するのは極めて難しかったでしょう。シミュレーションを自動的に処理するブループリントの能力を活かして複雑なシーンを効率的に作成することで、ほかのシーンに多くの時間を割くことができました。

VR プラネタリウムでのプリビジュアライゼーション

このプロジェクトでの最大の課題は、半球形のプラネタリウム向けのビデオ コンテンツを制作することでした。作業中の作品を初めてプラネタリウムで確認したときには、ドーム型の環境への適応を意図して制作していたにもかかわらず、想像とはまったく違って見えました。このプロジェクトが実際にはどれほど難しいのか、そのときわかりました。

最初の問題は、スクリーンの直径が約 25 メートルあり、構造と規模の面で予想を超えていたことでした。新しい構造とレイアウトを考案し、プラネタリウムの巨大なスクリーンに合わせて調整する必要があるとわかりました。2 つ目の問題はスクリーンが半球形であることによる歪みでした。平面のイメージを 3D の半球形のスクリーンに投影すると、端が大きく歪みました。これらの問題によって、コンテンツを表示できなくなり、頻繁なトラブルシューティングが求められ、自分たちの作業場とプラネタリウムを行き来することになりました。
レンダリング イメージと実際の結果の比較
しかし、本当に問題になったのは、そのトラブルシューティングのプロセスが非効率であったことでした。プラネタリウム内でビデオを上映した際に発生する問題を予見することはできず、テストするための唯一の手段はプラネタリウムを実際に訪れることで、テスト上映できるのは月に 2 回に限られていました。適切なテストを準備するには 2 日ほどかかるということも問題でした。

映画祭まで 2 か月しかないという状態になり、あと 4 回のテストでは問題解決に不十分だと気が付きました。私たちはトラブルシューティングのプロセスを変革する新しいアプローチを必要としていました。プラネタリウムを訪問せずに映像をテストする方法についてブレインストーミングを行い、VR が答えだとわかりました。バーチャルなプラネタリウムを作り、VR 内でテストするということです。
バーチャルなプラネタリウム
VR プラネタリウムの目標は、実際の会場とエクスペリエンスをシミュレートするために、同じ環境を構築することでした。実際の環境を反映したバーチャルなプラネタリウムができ、直径 25 メートルの半球形のドーム、10 度の傾斜、座席の配置と適切な高さが再現されました。それからマテリアルをドームのメッシュに使用し、画像とビデオのソースをマッピングしました。それによって、Unreal Engine で実際の会場に合わせてプラネタリウムを再現し、VR 内でプラネタリウムを体験できるようになりました。
VR を利用してプラネタリウムを仮想的に再現
結果は成功でした。VR のプラネタリウムのエクスペリエンスは、実際のプラネタリウムのエクスペリエンスとほぼ同じでした。時間をかけて上映の準備をする必要はなくなり、テストが必要なときはいつでも VR ですぐにフィードバックを得られるようになりました。プラネタリウム向けのビデオ コンテンツの制作プロセスで、リアルタイム エンジンによって直ちにフィードバックを得ることができるようになったのです。以前のフィードバック プロセスと比べると、新しいワークフローでは、歪みの問題に対するトラブルシューティングでの配置と合成の調整を速やかに行えるようになりました。
 

この方法を使うことで、私たちのチームは映画祭の締切までにプラネタリウム向けコンテンツを安定させることができ、ONENESS プロジェクトの制作を厳しいスケジュール内でうまく完了させることができました。

まとめ

3 か月におよぶ ONENESS の制作プロセスは以上です。厳しいスケジュールで高品質の成果を達成することができました。ONENESS プロジェクトは、Unreal Engine のリアルタイム レンダリング、強力なシネマティック機能、直感的なビジュアル スクリプティングがなければ実現できなかったでしょう。Unreal Engine は極めて強力なツールであり、私たちの発想を現実のものに変えてくれました。私たちのチームは、これからも Unreal を使い続け、多様なコンテンツを作っていきます。

    学習コンテンツをお探しですか?

    Unreal オンラインラーニング ポータルには 100 時間以上の実習ビデオコースとラーニングパスが用意されています。