图片由MELS Studios提供

如何教授虚拟制片

2021年10月26日
今天就读电影专业的学生们将在未来创作奥斯卡获奖剧集、夏季大片和令人开怀的情景喜剧。如果他们在能够暂停日出、唤醒巨龙或瞬间将演员移动到几十个地方的舞台上进行拍摄,将会怎样?

采用虚拟制片(VP)的话,这一切都将成为可能。从《曼达洛人》《西部世界》,虚拟制片正在改变内容创作的方式。虚拟制片的全球市场价值预计将在2028年达到47.3亿美元,并且现已引起了各地学校的关注。谢尔丹学院的SIRT中心前不久成立了他们自己的虚拟制片创新中心(VPIH),而Escape Studios也制作了他们自己的虚拟制片短片,在即将展开的培训中充当研究案例。SCAD甚至在新建的10.9英亩电影工作室综合大楼中投资建设了下一代XR舞台。

放眼望去,一片蓄势待发之势。但你也会发现问题。有许多问题是由教育工作者提出的,他们正试图建立最有效的课程。

而我们可以提供帮助!

在下方,你可以找到来自教育工作者和工作室的建议,他们从实践角度和教育角度对虚拟制片进行了充分的考验,你可以借此开始设计一套不仅让你喜欢,也行之有效的课程。

如何开始

了解选项
成功教授虚拟制片的方法有许多。然而,如果从当前知识出发,那将是一个很好的起点。大多数情况下,虚拟制片课程可以插进当前所教课程中。

“如果你们一直在教授游戏课程,那么就以游戏关卡为例,看看它与虚拟制片的需求有什么不同,然后从那里开始。”Epic Games教育合作伙伴经理Mark Flanagan解释说,“如果你们一直在教授现场光照,那么首先就应该探索如何将这些相同的理论应用到虚幻引擎的光照效果中。”

你选择的虚拟制片类型也会对课程产生很大影响。虚拟制片的类型有很多,包括:
  • 可视化:使用图像传达序列的创作意图。在可视化中,可采用预演、虚拟勘景、特技可视化等形式。
  • 动作捕捉:记录物体或演员的动作,然后使用这些数据制作数字模型动画(参考《指环王》中的咕噜)。
  • 混合虚拟制片:使用摄像机追踪技术,合成绿幕摄影与CG元素。
  • LED虚拟制片:使用LED墙取代绿幕,其中可显示来自实时引擎的CG元素与图像。这意味着片场中的所有人都能够完全在摄像机中看到并捕捉最终像素图像。在《曼达洛人》的推广下,摄像机内视效(ICVFX)的使用率只会继续增长。

从预算到学校的物理空间,有许多因素将决定哪种虚拟制片类型适合你们。Framestore虚拟制片制作人Manon Hartzuiker表示,可视化是一个很好的起点。她解释说:“它位于制作流程的顶端,并引导着工作流程的其他领域。”
图片由Oger Sepol提供
Digital Domain的可视化和虚拟制片主管Scott Meadows对此表示赞同:“专注于表演捕捉和实时可视化也将为学生的制片经验打下坚实的基础。”

如果想要更进一步,使用混合型绿幕解决方案通常是控制成本的最有效方式,而LED棚则是演示高端制片的最佳选择。
获取技术
熟能生巧。因此学生也必须接触在真正虚拟制片现场中将用到的所有工具。除了虚幻引擎外,配置中还可以包括:
  • VR头盔,如HTC Vive或Oculus
  • 摄像机追踪系统,如Ncam或Mo-Sys StarTracker
  • 动作捕捉系统,如Xsens或OptiTrack
  • LED面板
  • 绿幕
  • 记录摄像机

当确定要教授的虚拟制片类型之后,最重要的事情是,根据预算和可用的空间,列出所需资源的清单。
图片由MELS Studios提供
寻找和培训教育工作者
最后一个组成部分也是最重要的。无论选择何种类型的虚拟制片,购买何种技术,最重要的是,聘请具备虚拟制片行业经验的新员工,或培训当前团队,将他们提升至最高水平。
图片由Animism Studios提供
幸运的是,目前已有许多可提供帮助的资源,包括免费的虚幻引擎内容包和Quixel Megascans环境,任何人都可以下载它们以测试自己的实时工作流程。
图片由Dimension Studios和DNEG提供
对SIRT的虚拟制片主管Spencer Idenouye来说,虚幻之友计划是完美的培训方式。“它提供了绝佳的机会。”他回忆说,“通过五周时间,我就能够几乎完全使用虚幻引擎和虚幻商城资产制作一部短片。参与这类练习,同时一路记录过程,帮助我对虚拟制片所需的技能产生了深刻的理解。”

规划课程

向虚拟制片学生讲授的七大主题
像虚拟制片这样的技术,由于跨越了众多应用,因此很难决定要教授哪些内容。以下是应涵盖的最重要主题:

1. 基本原理:对于使用虚拟制片的任何人来说,了解电影制片概念与游戏引擎中同等概念之间的对应关系是至关重要的。这意味着要学习剪辑、导演、表演和构图。Flanagan补充说:“学习虚拟制片并不意味着你不用了解如何制作电影。”

2. 现场光照:要创造真实的背景,虚拟制片的学生也必须了解关于光照的知识。“将物理前景的光照与虚拟背景匹配起来,一切都将显得协调。”SCAD的摄影师Joerg Schodl说。

3. 时间规划和制片:虚拟制片正在促使行业重新评估存在了几十年的管线。如果不在后期处理视效,计划需要无懈可击。因此虚拟制片的学生需要尽可能了解关于时间规划与制片的一切知识。

4. 虚拟设计:仅仅教给学生关于现场电影制作的知识是不够的。他们也需要学习CG,以便为实时环境创造和准备内容。SIRT的虚拟制片主管Spencer Idenouye解释说:“教会学生如何通过几何体、材质、绑定与混合变形为静态网格体和基于骨骼的角色构建3D资产是非常重要的。”

5. 舞台运作:在LED虚拟制片中,LED墙的设置和管理(包括颜色校准和nDisplay设置等)是至关重要的。对于学生来说,学习这些工作的基础知识将帮助他们更深刻地了解幕后原理。

6. 表演捕捉和摄像机追踪:如果你想为3D角色制作实时动画,或以月球为背景拍摄演员,那就需要学习有关动作捕捉的一切知识。学生应该知道如何正确校准摄像机,可以用哪些解决方案将动作捕捉数据流送到虚幻引擎,并了解面部捕捉工作。

7. 可视化脚本:熟悉游戏逻辑和机制将有助于学生开发或定制工具,为他们的虚拟制片项目提供支持,当他们进入行业后,也能够帮助他们解决复杂问题。
图片由Neweb Labs提供
如何规划最有效的项目
培训学生时,在虚拟制片中模拟真实世界场景的项目是最有效的。“如果学生能够在大屏幕上看见自己的作品,那将产生最强烈的效果。”Escape Studios副院长Saint John Walker说,“即使你尚未完全了解底层的工作原理,1600尼特的大型LED墙也将为你留下持久的印象。电影专业的学生与游戏专业的学生不同,他们不习惯体验这种沉浸感。”

项目范围可以包括从短片的构思、计划和制作,到拍摄日动作捕捉和实时系统的设置。选择什么并不重要,Digital Domain的Meadows解释说,关注每项任务背后的过程才是最重要的。“学生不应该只是遵守指示。”他补充说,“他们应该思考校准舞台的步骤,并确定痛点,以提升速度和稳定性。”
如何让课程与时俱进
当教授虚拟制片这样的新兴技术时,确保课程与时俱进是一项重大挑战。
图片由Dimension Studios和DNEG提供
教育工作者需要持续地与技术公司保持密切的关系,以跟上硬件和软件的更新步伐。“当新硬件发布时,学校甚至可能会要求提前使用,并向开发商提供反馈,通过这种方式继续朝正确的方向前进。”Meadows解释说,“建立并参加用户组或论坛也是掌握最新动态的好方法。”

Framestore的Hartzuiker表示,与视效制片团队保持联系也很重要。“每次制片都是不同的,我们始终在寻求新方法,来提升我们工作流程的效率。”她说,“当学校联系我们时,我们很乐意分享我们的探索结果。”

设置工作期望

接受过虚拟制片培训后,学生可能会担任各种职务,例如:
  • 虚拟制片主管:管理虚拟制片技术的舞台部分,制作完整结合了实景拍摄和CG的混合镜头。
  • 技术美术师:使用虚幻引擎扩展虚拟场景,为实时回放优化数据,通过蓝图制作动画,等等。
  • 制片设计师或VAD美术师:通过VR和AR技术,利用虚拟勘景确定最终环境。
  • 预演主管或预演美术师:阐释电影项目,包括建立关键序列的创作方向。
  • 动作捕捉动画师:捕捉动作,并根据动作捕捉数据,完善和交付逼真的动画。

除了上述工作外,虚拟制片通才也可以担任传统电影制作中的许多其他职务。“虚拟制片中的一切都源于对电影制作的扎实理解,反过来说,在学习虚拟制片的过程中,所获得的任何新知识或技术都可以为传统电影制作的新流程提供参考。”Epic Games督导与评估技术项目经理Brian Pohl解释说。

例如,接受过虚拟制片培训后,即使学生还没有接触过真正的摄影灯光,在做了一些虚拟制片的工作后,他们也可以决定成为一名摄影导演或灯光师。同样的道理,毕业生也可以胜任数字影像工程师或电影摄影的工作。
图片由Last pixel Pty Ltd提供
“作为一名电影教师和电影制作者,我认为这种工具实现了电影制作的普及。”Schodl说,“要确保学生取得足够的实践经验,可能会耗费大量成本和时间,但有了实时引擎,就不存在限制了。只需通过一套课程,学生就能够学到实践场景或虚拟制片场景中的所有必备技能。”

了解更多

欢迎访问Epic Games虚拟制片中心,了解内部人士观点,阅读行业指南、建议和鼓舞人心的故事。

    获取更多学习资源

    免费订阅教育新闻通讯,获取每月更新,领取超值免费教学资源,让虚幻引擎走进你的课堂,让你的学生为走入沉浸式领域做好准备。
    GDC 2023
    Event
    2月15日

    GDC 2023

    Join Epic Games at GDC 2023 for the State of Unreal, insightful tech talks, and the chance to play the latest Unreal Engine games at our booths on the show floor. 
    GDC 2023
    Event

    GDC 2023

    Join Epic Games at GDC 2023 for the State of Unreal, insightful tech talks, and the chance to play the latest Unreal Engine games at our booths on the show floor. 
    Unreal Engine 5.1 is now available!
    News
    11月15日

    Unreal Engine 5.1 is now available!

    This release builds upon the groundbreaking feature set released in UE5 to add a new level of robustness, efficiency, and applicability across multiple industries. Find out what’s new. 
    Unreal Engine 5.1 is now available!
    News

    Unreal Engine 5.1 is now available!

    This release builds upon the groundbreaking feature set released in UE5 to add a new level of robustness, efficiency, and applicability across multiple industries. Find out what’s new. 
    Unreal Engine 5.1 delivers new features for filmmaking, broadcast, animation, and live events
    News
    11月15日

    Unreal Engine 5.1 delivers new features for filmmaking, broadcast, animation, and live events

    From virtual production with in-camera VFX to animated projects and high-octane live broadcasts and events, Unreal Engine offers a more extensive, robust, and accessible toolset for media and entertainment pipelines. Take a look at what’s new.
    Unreal Engine 5.1 delivers new features for filmmaking, broadcast, animation, and live events
    News

    Unreal Engine 5.1 delivers new features for filmmaking, broadcast, animation, and live events

    From virtual production with in-camera VFX to animated projects and high-octane live broadcasts and events, Unreal Engine offers a more extensive, robust, and accessible toolset for media and entertainment pipelines. Take a look at what’s new.