2018年3月21日
リアルを彷彿とさせるデジタル版 Andy Serkis を生み出した Epic Games と 3Lateral の開発技術
この画期的なデジタルによる演技は、アンリアル エンジンのリアルタイム レンダリング、そして、3Lateral の Meta Human Framework© ボリュメトリック キャプチャー、および再構築と圧縮技術を組み合わせることで実現しました。一定条件のライティングの下で複数のアングルから Andy Serkis 氏をキャプチャーした一連の高品質 HFR 画像からボリュメトリック データを生成します。3Lateral のプロセスには様々なキャプチャー シナリオが含まれています。ジオメトリに焦点を当てるものもあれば、外観に注目するシナリオもあります。あるいは、動きにフォーカスするものもあります。これらすべての入力データを利用して、Andy Serkis 氏をデジタル的に表現し、その演技を本物のように見せる筋肉の収縮を表す普遍的な顏のセマンティックの抽出を行います。
こうして完成したリアルタイム シネマティクスの中で、忠実に再現された Andy Serkis 氏のデジタル レプリカがシェークスピアの『マクベス』のセリフを朗読します。その演技は実物とほぼ区別がつかないほど素晴らしいレベルにあります。さらに『マクベス』で使われている演技データは、3Lateral の架空のデジタル クリーチャーである Osiris Black にも適用されました。それによって、まったく異なる 2 つのキャラクターに同じキャプチャーデータを適用できることが実証されたのです。演技力が素晴らしいだけでなく、デジタル パフォーマンス プロセスと技術に関して豊富な知識と経験の持ち主である Serkis 氏は、概念実証となる今回のデモにとても協力的であり理想的な人物でした。
このようなきわめて大量のデータセットを表示するために、データセットは 3Lateral のセマンティック圧縮によって削減されます。その際、データの整合性は保たれるので、演技をデジタル キャラクター上にリターゲットすることが可能であり、同時に、注視の仕方や微細なニュアンスを簡単に修正することができます。忠実性が驚くほど高いこのキャプチャー データは、オフラインであらかじめ、アンリアル エンジンへの取り込みが可能なデータセットに加工されます。
今はまだビジュアル エフェクトという専門領域における検証が成功した段階に留まっていますが、いつかフォトリアルなデジタルヒューマンが、機械や AI、複合現実のアプリケーションのためのインターフェースとなって、インタラクティブなエンターテイメントやシミュレーション、リサーチ、非言語コミュニケーションで使用されることになるはずです。