2018年12月12日
究極のデジタル ヒューマンの作成を目指す Digital Domain の取り組み
本物の人間と見間違うようなデジタル ヒューマンを作り出すレベルへとテクノロジーが近づくうえで、フェイシャル キャプチャ テクノロジーの発展が重要になっています。本物の人間の顔の筋肉、皮膚、目の動きはどのようなものか、受け手は本能的に知っています。このことが、デジタルの顔をアニメーションさせるプロセスを特に難しくしています。また、フェイシャル キャプチャ システムは、俳優のパフォーマンスのユニークなところを残すものである必要があります。
過去 10 年にわたり、リアルなデジタル ヒューマンを生成するための新しいテクノロジーの開発に専念してきたデジタル ヒューマン グループは、Unreal Engine を使って、撮影現場における演出家、技術チーム、俳優のコラボレーションのあり方を一変させるリアルタイム システムを作り出そうとしています。
バーチャル プロダクションによるプロダクション プロセスの発展
デジタル ヒューマン グループのディレクター、Darren Hendler 氏は次のように述べています。「バーチャル プロダクションは、大きな期待を寄せている分野の 1 つです。まだ現場ではその一部を取り入れ始めたばかりで、リアルタイムではない形で、演じているキャラクターがどのように見えることになるか、俳優に例を示しています。演技の結果がどのように見えるか、どのように変換されるかを実際に見ることができるので、俳優にとっては非常に役立つツールになっています」
「これがリアルタイムになり、俳優や演出家など、現場にいる誰もが利用できるようになったらどうなるでしょうか？」
「それは現実になろうとしています。この新しいテクノロジーによってまもなく何が可能になるか理解することが、誰にとっても重要です」
AI とリアルタイム テクノロジーの融合
バーチャル プロダクションを取り入れていくなかで、デジタル ヒューマン グループのチームは、リアルタイムでのリアリズムを次のレベルに引き上げるために必要なフレームワークを Unreal Engine が提供していることに気が付きました。ディープラーニングと AI についての積極的な研究もバーチャル プロダクションを推進するうえで重要な役割を果たした、と Hendler 氏は述べています。
リグを作成してアニメーションさせるという従来のプロセスでは、アーティストはリグの制約のなかで作業を行う必要がありました。しかし、カメラを使って顔の動きを超高解像度でキャプチャすれば、パフォーマンスが向上するだけでなく、AI とディープラーニングを活用してこれまでになかった形でプロセスを強化できることがわかりました。
デジタル ヒューマン グループのチームは、システムを自動的にトレーニングして、俳優のパフォーマンスのユニークな部分を損なうことなく、顔を認識、理解、再現できるようになりました。Hendler 氏はこの成果に期待しています。「そのために以前のように数週間や数か月かける必要はありません。瞬時にできるようになりました。リアルタイムでとてもリアルな表情を作れるようになりつつあるのです。これは素晴らしいことです」
さらに詳しく知りたい場合は、上に挙げたケーススタディのビデオをご覧ください。また、新しいバーチャル プロダクションのハブにもアクセスしてください。メディアのプロダクションに対するこの新しい有望なアプローチに関する多くのコンテンツが掲載されています。