图片由华特迪士尼公司提供

在虚幻引擎中将2D动画《格林一家进城趣》转换为3D

2022年12月15日
迪士尼电视动画公司希望为《格林一家进城趣》中以节日为主题的一集提出新想法,他们选定了一个破天荒的主张:让格林一家进入《Outpost Infinity》中的虚拟世界,以3D形式呈现他们——这与该作品以往的2D风格迥然不同。

然而,将知名2D IP转化到3D环境中,说起来容易做起来难。通过与迪士尼技术团队合作并采用虚幻引擎,他们开发除了忠于原作的外观,并构建与传统3D方法大相径庭的实时CG管线。最终,团队采用2D管线出奇制胜。

《虚拟圣诞节》中的3D镜头长16分钟,高度风格化,几乎完全由虚幻引擎制作。这是迪士尼首次使用虚幻引擎制作动画剧集,也是他们主要使用实时技术制作的最长单集动画。
 

《格林一家进城趣》节日特辑讲述的是蟋蟀‧格林被困在暴风雪中,无法回到家中过圣诞节,格林一家面临着两难的局面。

幸好,蟋蟀的朋友雷米想出了一个解决办法——这家人可以进入雷米的新虚拟现实游戏,在3D环境中一起庆祝。“这使我们有机会将2D传统叙事与3D实时叙事结合起来,在角色寻找道路进入虚拟世界时,描绘他们所经历的旅程。”迪士尼软件工程技术副总裁Kaki Navarre解释说。

从美术角度和技术角度看,要将2D动画转变成3D,会带来许多挑战。首先,3D版角色必须忠实还原2D原版中的对应角色。

“我们需要确保格林一家的外貌和举止看上去与原来一样,这意味着要在动作和设计方面下功夫,让你在看到他时,会觉得‘那是蟋蟀·格林’。”迪士尼3D动画主管Jennifer Burchfield说。

这个项目是通过基于虚幻引擎的实时管线建立的,但这集动画的美术风格要求制作者不能使用游戏引擎中基于物理的外观——它的外观应该高度风格化,而非写实化。

定格动画和插图风格的启发,团队开发了一套自定义外观,并着手整合一系列美术技术和动画技术。这就需要建立一套风格指南,从光影与角色的交互,到反射表面的外观,阐明每个方面,确保风格的一致。
图片由华特迪士尼公司提供
团队还通过研究2D动画确定了可以利用的技术,以弥合2D和3D风格之间的差距。“《格林一家进城趣》是一部卡通片。”迪士尼3D动画导演Mark Droste说,“角色的手臂可以拉伸得超级远,他们的眼睛可以瞪得又大又宽,他们的身体可以做到我们做不到的事情。使用CG时,人们通常会担心角色出现僵硬感——如果以2D视角为参照,这一点将尤为明显。”

为了确保角色在3D中同样具有2D的卡通感,团队知道,他们必须专门推行一项动画原则:挤压和拉伸

挤压和拉伸是2D动画师用来表现弹性和灵活性的一种技术。当用在角色身上时,可以使他们的动作显得更加自然和生动。“如果你在某一帧暂停,会看到一些夸张的挤压和拉伸,比如脸被拉向了一边。”Droste说,“这确实增加了动画的活力,也保留了《格林一家进城趣》的风格。”
 
图片由华特迪士尼公司提供

团队还开始大量依靠几何涂片帧。涂片帧是一种2D动画技术,一个移动的物体后面跟随着一些影像——看上去就像是涂抹而成的。这是一种制造连续运动错觉的技术。“这更接近《花生大电影》或《蜘蛛侠:平行宇宙》中的那种方法。”Burchfield说,“我们没有使用动态模糊就完成了所有事情,所以这次的节目感觉会更加风格化。”

要实现这些技术,首先必须从角色绑定入手。团队在Maya中创建了绑定,然后使用控制绑定功能将它们引入引擎,建立预演动画通道。

这些数据随后会被烘焙成动画序列,并以FBX格式导出,供动画师在Maya中建立最终通道。“我们想争取实现那种挤压和拉伸的外观,但不想在引擎之外做出任何编辑。”迪士尼3D动画管线主管Evan Binder说。

“出于性能方面的考虑,我们决定坚持使用FBX格式,主要是因为我们知道它能够很好地与控制绑定搭配,而且我们还能够将这些控制点公开给美术师,以便他们稍后在引擎中做出修改。”

Maya中的最终工作完成后,所有内容都会被重新导入引擎,让团队在完整的背景环境中查看这些内容。他们将在引擎中添加涂片帧,并做出任意修改。“将它们重新放入引擎,就可以在布景中看到它们了。”Droste说,“我们可以在光照条件下查看它们,看到它们最终的外观。我们要做的只是不断迭代,而迭代周期又是如此之快,使我们能够快速做出决定。”
图片由华特迪士尼公司提供

从虚幻之友计划到第一个项目

迪士尼采用实时工作流程已经有一段时间了。去年夏天,几名团队成员参加了虚幻之友计划。《虚拟圣诞节》是该团队在虚幻引擎中的第一个项目。“通过学习,我真的爱上了虚幻引擎。”Burchfield说,“我以前从未打开过它,它超级容易上手。我觉得它非常直观。我在其中有一种轻松自如的感觉。”

通过选择实时方法,他们有机会同时执行多个部门的任务,而在传统的离线制片管线中,这些任务是要按顺序执行的。由于编辑、镜头构图、光照和视效工作都可以在同一时间进行,团队有机会以迭代的方式确定故事,在一个综合环境中相互合作。

对迪士尼3D动画部门的CG主管Megan Stifter来说,这是实时工作流程最强大的地方。“在传统动画中,美术师和工程师习惯于在抽象中工作。”她说。
图片由华特迪士尼公司提供
“不在可以预览工作结果的最终环境中工作,会导致很多猜测和检查——做出的很多修改可能需要几天、几周或几个月才能看到关联效果。在实时环境中工作时,这个时间被彻底缩短了。我们能够即时看到修改所带来的影响。”

通常,这种感觉可以用令人兴奋形容。当孤立的部门可以开始同步协作时,更新成为了一种令人振奋的体验。通常,在整个过程的最开始,电影导演需要创建立方体和圆柱体的预演资产——这些预演资产将在镜头构图阶段使用,而最终资产此时仍在制作中。然后,团队可以使用蓝图、子关卡嵌套、地形雕刻和替身道具确保动画、电影、灯光和技术部门的制片工作正常展开。一旦模型制作完成,他们就可以在引擎中轻松地替换或更新它们。

“每当我们在Perforce中同步所有文件,并在Sequencer中为重新打开的项目按下播放按钮时,我们就会感觉每天都有惊喜。”迪士尼3D资产主管Christina Douk说,“这使引擎中的迭代变得有趣又吸引人,并让我们在前进的过程中保持制片灵感。”

实时的3D电影制作工具

虚幻引擎的电影制作工具仿制了现实片场中的对应工具。在项目早期,Droste进入引擎,独自一人粗略地勾勒出了故事。“它太棒了,我能够利用这个数字沙盒,在引擎中构建我头脑中的东西。”他说。
图片由华特迪士尼公司提供
“我记得我最愉快的一刻是,在我们完全使用预演资产将一切安排妥当之后,想法直接变成了屏幕上的画面。这是虚幻引擎最让我喜欢的地方——构建环境,投射灯光并设置角色是那么容易,如果你有了想法,突然间,它就能在你面前变成具体的东西。”

团队通过使用Sequencer,在一条主体时间轴中将《虚拟圣诞节》的各个序列编辑到了一起。通过将编辑过程引入虚幻引擎,团队能够更快地开展工作,在背景环境中观看完整的剧集和每个镜头,并即时做出修改——无需将镜头导出并同步到传统的非线性编辑软件包中,节省了这个过程所耗费的时间。
 
图片由华特迪士尼公司提供

“这是一个巨型项目,但我们可以随意跳转,快速修复问题,这在传统管线中是无法做到的,虚幻引擎这种集中式内容创作套件使这一切成为了可能。”迪士尼实时媒体技术总监Andy Wood解释说。

在最后一刻调整镜头的能力带来了好处,尤其是,有时候需要在临近制片结束时做出重大修改。“我们想重做一个非常长的序列,这通常会导致工作的暂停。”Droste说,“但我能够和节目制片人坐在一起,在大约两个小时内,重做三分钟的完整序列。”

多平台的内容管线

在动画技术方面,迪士尼始终在努力挑战极限,其技术团队经常在实时可视化领域做出新突破。因此在《虚拟圣诞节》中采用实时技术就像是自然而然的前进方向。“随着技术的进步,你会想,如何更快速地生成信息丰富的背景环境?如何以创新方式工作?”Wood说,“对这类项目来说,探索实时技术的可能性意义匪浅。”

迪士尼在《虚拟圣诞节》中使用实时技术只是他们更大战略中的一环。该公司的技术和创意团队已开始在虚拟制片、内容交互、数据可视化等其他领域探索实时工作流程的使用。部门间开始协力创作实时内容,这开辟了一种值得关注的可能性:有机会建立一套多平台内容管线。
图片由华特迪士尼公司提供
如果在项目开始时就做出适当的优化决定,那么为一个垂直领域创建的CG资产和环境将可以在另一个领域中被用于其他目的。“如果你投资创建了能够以交互式帧率运行的实时资产,你接下来还可以使用它们创作传统的线性平面内容,或制作任何新形式的内容——可以是交互式体验,也可以是更具沉浸感的东西。”Navarre说,“前途无可限量。”

《格林一家进城趣》的《虚拟圣诞节》特辑已上架迪士尼频道和Disney+平台。

    立即获取虚幻引擎!

    获取全球最开放、最先进的创作工具。
    虚幻引擎包罗万象,并提供完整的源代码访问权限,开箱即用,诚意十足。