图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
在增强现实中构建交替现实：UCLA用虚幻重新定义戏剧
2022年11月2日
如果有机会重新演绎一个有史以来最著名的反乌托邦故事，你会怎么做？对于UCLA工程、媒体和表演研究中心（REMAP）的学生和员工来说，答案很简单：开工。该中心独辟蹊径，将戏剧和工程专业的学生组合到了一起。
在虚幻引擎的帮助下，他们决定以Amazon Studios的网剧《高堡奇人》中的世界为背景，制作一档原创戏剧节目——同时，他们还要应对全球疫情带来的挑战。最终，一部震撼人心的增强现实作品就此诞生，它将在未来几年改变UCLA戏剧的观众体验。
在虚幻引擎的帮助下，他们决定以Amazon Studios的网剧《高堡奇人》中的世界为背景，制作一档原创戏剧节目——同时，他们还要应对全球疫情带来的挑战。最终，一部震撼人心的增强现实作品就此诞生，它将在未来几年改变UCLA戏剧的观众体验。
设置场景
“我们最初之所以对AR感兴趣，是因为它符合我们的价值观。”作品的联合导演Mira Winick开始说，“REMAP的建立初衷是为了在学生和教师中鼓励协作创新和创造。有了AR，观众也可以参与进来。学生、教师和观众可以在一个非物理空间中共享独特的体验。我们知道这会是一种优秀的艺术信息媒介，于是立即决定围绕它构建下一个项目。”《高堡奇人》的故事涉及到重叠的时间线，提出了有先见之明的社会政治主题，因此，以这个世界为背景的原创故事似乎是AR项目的一个完美方向。REMAP梦想着重新演绎菲利普·狄克这部1962年的小说，于是他们开始寻找赞助商，并申请了Epic MegaGrant。
项目提案是以《高堡奇人》世界为背景的AR沉浸式戏剧表演，观众将携带一款名为“沉重的蚱蜢”的AR应用，通过它观看在另一条时间线上发生的平行故事。例如，演员会在观众眼前描绘轴心国赢得二战的残酷现实，而观众可以使用他们的AR设备，窥视另一个更接近现实的世界，在那里，反法西斯运动已经开始唤起人们对美好未来的盼望。
图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
除了允许团队在虚幻引擎中探索AR外，MegaGrant还提供了可用来开发多个虚幻引擎插件模板的资源，使学生们无需身处同一个地方，即可展开协作。这意味着该团队可以着手在移动设备和工作站设备上构建预演和AR组件。当建立起插件架构之后，他们就可以开始制作这个名为《最惠国》的项目了。
在《最惠国》中，REMAP邀请了各个戏剧学科（包括导演、编剧、设计、舞台管理、表演和菲利普·狄克批评研究）的学生加入，在制作中担当重任。“我们正在攻读电影课程的摄影师为视觉外观和感觉提供了建议；设计专业的学生构建了“蚱蜢”AR设备的原型；其中一名编剧正在就读剧本创作美术硕士课程。”REMAP联合创始人Jeff Burke说，“我们也有学生在制作中参与了软件方面的工作，包括使用虚幻引擎。”
虚幻时刻
首先，一小群UCLA的学生被挑选出来，与经验丰富的教师和嘉宾（其中包括《高堡奇人》原版连续剧的一名制片设计师）一起，充实这个概念。尽管不是一个学术项目，但REMAP这个极具前瞻性的项目使学生有机会以不同的切入点加入到相关的流程中。他们可以趁机磨练技能，为进入各自的行业做好准备。在《最惠国》中，REMAP邀请了各个戏剧学科（包括导演、编剧、设计、舞台管理、表演和菲利普·狄克批评研究）的学生加入，在制作中担当重任。“我们正在攻读电影课程的摄影师为视觉外观和感觉提供了建议；设计专业的学生构建了“蚱蜢”AR设备的原型；其中一名编剧正在就读剧本创作美术硕士课程。”REMAP联合创始人Jeff Burke说，“我们也有学生在制作中参与了软件方面的工作，包括使用虚幻引擎。”
图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
在2006年的现场戏剧制作中，REMAP曾使用过虚幻引擎2.0，但该团队发现，虚幻引擎4.24比早期版本更容易上手，这意味着几乎没有虚幻引擎使用经验的学生也可以逐渐了解它的功能。Burke说：“在最初构思《最惠国》时，我们就断定，虚幻引擎将提供必要的性能、功能和稳定性，帮助我们融合AR元素。”他还解释说，UCLA围绕着虚幻引擎展开了一系列活动，包括开设电影预演课程，在疫情期间进行远程虚拟表演，以及构建沉浸式学习环境，而这项制作工作正是这些活动中的一部分。
图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
当Burke谈到项目中最让他喜爱的虚幻引擎功能时，他解释说：“对于REMAP来说，事实证明，蓝图为没有编程背景的人提供了一条很好的途径，让他们也能够参与进来，使用引擎。创建所需的外观和感觉时，材质系统也发挥了重要作用：我们在其中曝光AR穿透式摄像机和遮蔽遮罩。”
REMAP实时合成了所有视频平面，这意味着同样的方法也适用于实况或网络视频以及预先录制的视频平面。“团队过去曾开发过自己的合成器，但此后，他们采用了Composure合成器。”Burke继续说，“有了高质量的实时抠像器，即使时间有限，也能得到令人满意的美观元素。”
虚幻引擎的插件架构还使Burke和首席开发人员Peter Gusev能够开发可复用的组件。这种方法不仅节省了宝贵的时间，也意味着这对搭档可以要求学生为特定任务制作插件，实现基准重定位、视频平面功能以及外部OSC控制等。每个组件都基于相同的样板代码，因此学生可以使用bash脚本生成他们自己的插件。
REMAP实时合成了所有视频平面，这意味着同样的方法也适用于实况或网络视频以及预先录制的视频平面。“团队过去曾开发过自己的合成器，但此后，他们采用了Composure合成器。”Burke继续说，“有了高质量的实时抠像器，即使时间有限，也能得到令人满意的美观元素。”
虚幻引擎的插件架构还使Burke和首席开发人员Peter Gusev能够开发可复用的组件。这种方法不仅节省了宝贵的时间，也意味着这对搭档可以要求学生为特定任务制作插件，实现基准重定位、视频平面功能以及外部OSC控制等。每个组件都基于相同的样板代码，因此学生可以使用bash脚本生成他们自己的插件。
新现实
使用AR技术也意味着即使是在疫情期间，团队仍可以继续制作节目。子关卡组织良好，资产管理谨慎，对插件重视，这一切都意味着REMAP有能力在远程团队中建立协作工作流程。新冠疫情席卷全球，但它几乎无法阻止团队建造布景和设计节目。在没有踏入表演空间的情况下，他们就创建了完整的实体模型。他们甚至能够让演员在家中拍摄自己，然后将其放入虚拟环境进行测试。
图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
在疫情期间，制作优秀AR作品所需的广泛预演过程也使团队能够在没有实际接触到布景的前提下，了解3D元素和现实元素间的互动方式。当布景可用时，团队只需确认事情是否符合预期，无需从头开始设计。
“无论是从社交距离的角度还是从无障碍性的角度来看，预演都是必不可少的。”项目的光照设计师兼虚幻工程师Ben Conran说，“我们非常依赖通过预演为无法亲临现场的导演和演员展示AR。或者，在时间有限时，我们也可以使用它绕过构建过程。在拍摄供演员的AR表演使用的绿幕镜头时，实时预演允许我们匹配和调整光照，以适应AR空间的色调，它也让导演有机会在拍摄过程中实时编辑和完善表演。”
“无论是从社交距离的角度还是从无障碍性的角度来看，预演都是必不可少的。”项目的光照设计师兼虚幻工程师Ben Conran说，“我们非常依赖通过预演为无法亲临现场的导演和演员展示AR。或者，在时间有限时，我们也可以使用它绕过构建过程。在拍摄供演员的AR表演使用的绿幕镜头时，实时预演允许我们匹配和调整光照，以适应AR空间的色调，它也让导演有机会在拍摄过程中实时编辑和完善表演。”
图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
还有一个小问题：如何调整现场表演，以遵守禁止人群大规模聚集的疫情限制。经过长时间的讨论，学生们决定通过多部观众手机现场录制每个场景，让后来的观众选择要观看的内容，这和他们在演出中所要做的事情一样。然后，学生们将作品记录为互动视频流，让观众选择要观看的观众摄像机。
图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
接下来，一个被布置成摄影棚的大型戏剧舞台上将上演所有剧情。每条故事线都具有一个单独的物理布景（某些情况下是两个），还配有一个相应的AR布景，这样就能在同一空间向观众展示不同的时间线，而人们看到和听到的内容也不会相同。
现场录制的方法意味着场景不会同时播放，但其目的是使用标准装置和戏剧技术提供声音隔离，使观众能够在幕间场景中移动，借此选择从哪里重新进入故事。
尽管承认了这一点，Burke也认为，现实与AR表演之间不可跨越的距离为节目添加了一层强烈的情感，事实证明，两个世界相互独立的感觉完美地贴合了节目的主题。当然，团队的目标并不仅仅是提供精彩的节目。他们还想了解，AR与故事的整合将如何影响创作过程和观众体验。他们得出了三个关键结论。
首先，很明显，AR可以有效地整合到沉浸式表演中，为吸引观众提供一种新颖有趣的方法。几年之内，这项技术应该就能够提供商业体验。其次，REMAP发现，工作的结果以及与项目参与者的多次对话都验证了，技术如果以某种形式同时存在于虚构世界以及现实世界，将带来好处。这使它成为了戏剧的中心，与角色产生了关联，不再仅仅是一个噱头。
现场录制的方法意味着场景不会同时播放，但其目的是使用标准装置和戏剧技术提供声音隔离，使观众能够在幕间场景中移动，借此选择从哪里重新进入故事。
开演
最终，节目的观众包括因节目“疫情安全区”这一优点而对其产生了解的人，以及对该作品一无所知，前来参与现场录制的来宾。“他们得出了一致的结论，那就是现场体验真的很吸引人，即使我们拼尽全力，也很难在录像中传达这一点。”Burke补充说。尽管承认了这一点，Burke也认为，现实与AR表演之间不可跨越的距离为节目添加了一层强烈的情感，事实证明，两个世界相互独立的感觉完美地贴合了节目的主题。当然，团队的目标并不仅仅是提供精彩的节目。他们还想了解，AR与故事的整合将如何影响创作过程和观众体验。他们得出了三个关键结论。
首先，很明显，AR可以有效地整合到沉浸式表演中，为吸引观众提供一种新颖有趣的方法。几年之内，这项技术应该就能够提供商业体验。其次，REMAP发现，工作的结果以及与项目参与者的多次对话都验证了，技术如果以某种形式同时存在于虚构世界以及现实世界，将带来好处。这使它成为了戏剧的中心，与角色产生了关联，不再仅仅是一个噱头。
图片由UCLA戏剧、电影和电视学院/UCLA REMAP提供
最后他们还发现，围绕着如何平衡线性的故事情节，使观众感到兴奋和有趣，这种形式催生了许多讨论和想法，为他们提供了探索的机会。
“围绕虚幻引擎构建项目模糊了戏剧、游戏、电影和视频间的界限，创造了一种多平台、多用户的体验。”Burke说，“它同时提供了大受好评的精密性和无障碍性，因此REMAP将在众多项目中长期采用它。”
接下来，Burke被许可将雨果奖获奖小说《城与城》改编为UCLA的AR与沉浸式戏剧项目。与《最惠国》类似，教师和学生将在这个项目中协作，他们计划在虚幻引擎中构建所有现实元素和AR元素。
“拥有一个统一的环境，使我们可以根据所使用的是预演工作站、AR移动设备，还是其他参与设备选择不同元素的可视性。这意味着我们能够即兴创造新的工作流程，并快速解决问题。”Burke补充说，“我们能够更高效地工作，我们的观众可以与我们的角色共享一个全新的平行世界，甚至还可以在这个世界中做出选择。我想不出比这更适合的方式了。它带来了一种扣人心弦、引人入胜的体验，已经有许多人向我述说了他们体验到的新奇感。”
“围绕虚幻引擎构建项目模糊了戏剧、游戏、电影和视频间的界限，创造了一种多平台、多用户的体验。”Burke说，“它同时提供了大受好评的精密性和无障碍性，因此REMAP将在众多项目中长期采用它。”
接下来，Burke被许可将雨果奖获奖小说《城与城》改编为UCLA的AR与沉浸式戏剧项目。与《最惠国》类似，教师和学生将在这个项目中协作，他们计划在虚幻引擎中构建所有现实元素和AR元素。
“拥有一个统一的环境，使我们可以根据所使用的是预演工作站、AR移动设备，还是其他参与设备选择不同元素的可视性。这意味着我们能够即兴创造新的工作流程，并快速解决问题。”Burke补充说，“我们能够更高效地工作，我们的观众可以与我们的角色共享一个全新的平行世界，甚至还可以在这个世界中做出选择。我想不出比这更适合的方式了。它带来了一种扣人心弦、引人入胜的体验，已经有许多人向我述说了他们体验到的新奇感。”
立即获取虚幻引擎！
获取全球最开放、最先进的创作工具。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。