文本、摄像机、开拍:用虚幻5创作AI音乐录影带

2022年7月26日
如果只使用文字,就能创作出一部以《阿基拉》为灵感的赛博朋克影片,那会怎么样?对于艺术家团体Sagans来说,这是一个值得开拓的未来。最近,他们使用虚幻引擎的MetaHuman技术,同时配合AI算法,仅凭文本描述就为其首部音乐录影带《Coherence》生成了大部分镜头。

在最终成品所描绘的后现代图景中,一位女性正在新城市中寻找着属于自己的位置,画面采用素描风格,镜头伴随着音乐不断移动,从明亮的樱花树转场至纽约地铁。Sagans的艺术家们共同展示了,AI不一定预示着我们的工作(甚至整个世界)将被它接管的可怕前景。相反,它可能会成为释放我们全新创作潜力的关键。
 

颠覆音乐行业

根据Sagans的3D专家Aurelien的说法,《Coherence》准确地代表了这个团体所要实现的目标。“我们感觉,音乐行业不愿意冒险,除非存在利益驱动因素。”他解释说,“因此靠谱的内容开始减少,这正是促使我们创办Sagans的最初原因。”
 

Sagans团体由音乐家、美术设计师和研究人员组成,他们在制作第一部音乐录影带之前,并不需要等待歌曲创作完成。这为团队提供了更多的时间和自由,探索如何通过人工智能和实时图形等技术实现愿景。

“虚幻引擎5是我们最先决定采用的技术,”Aurelien继续说,“我们首先通过Quixel资产库创建了整个世界,紧接着,我们采用MetaHuman Creator创造了逼真的角色。这为我们改变了一切。突然间,我们就可以在短时间内制作出漂亮的东西了。我们知道,我们已经准备就绪,可以开始制作《Coherence》了。”
 
视频由Sagans提供

添加AI

起初,团队决定使用大友克洋的经典动画《阿基拉》的风格,为视频的审美奠定基础。下一步就创造视频中的女主角。“在使用虚幻引擎工作之前,我们对3D世界不是很熟悉,”Aurelien说,“乍看之下,创造角色似乎是一项非常复杂的任务。幸运的是,MetaHuman Creator让事情变简单了。”
图片由Sagans提供
为了创造让观众感觉亲切的角色,团队混合了MetaHuman数据库中三张面孔的元素,找到了自己喜欢的结果。接下来,他们使用iOS的Live Link Face应用,为角色制作了面部表情动画。与此同时,Sagans的艺术家们还开始使用Quixel构建视频的虚幻引擎环境,从日本风格的英国街道,到纽约的地铁,应有尽有。
 
视频由Sagans提供

“创建环境时,Lumen发挥了至关重要的作用,”Aurelien解释说,“有了它,我们能够在不使用大量硬件资源的前提下实时处理光照。再配合使用Niagara创造雨水等粒子,在短短几秒钟内,我们就可以生成与用户界面中完全一致的渲染。”

最后一步是根据场景的需要,通过三套独立的AI算法生成虚幻引擎输出,营造最终的大友克洋风格。第一套算法允许Sagans的艺术家使用文本描述场景风格,然后以视频形式将其表现出来。第二套算法会使用参考图像制作动画视频,而最后一套算法可将实景真人电影转变成风格化的动画影片。

“在大多数镜头中,我们都用到了文本转视频算法。”Aurelien补充说,“为此,我们使用Disco Diffusion 5帮助生成单独的帧,然后通过算法将这些帧转变成视频。我们必须确保文本内容非常详细,不仅能描述出风格,还要填补所有纰漏:如果没有提到天空,机器可能会忘记城市顶部必须有一片天空。在得到不错的第一帧画面之后,我们还要根据运镜的需要,提供足够的描述,生成接下来的帧,然后在第20帧处最后一次检查渲染。”
 

虚幻成果

由于使用了独特的实时3D和AI工作流程,从第一个镜头到《Coherence》的最终渲染,整个过程只花了三位Sagans创作者八周时间。“我们想要一种既简单易用又足够快速的解决方案,帮助我们迅速实现愿景,虚幻引擎没有让我们失望。”Aurelien补充说,“只需几次点击,我们就可以轻松创建极其精细的角色和城市环境,在没有动作捕捉服的情况下为女主角制作动画。”

现在,《Coherence》已创作完成,团队计划在未来的音乐录影带项目中继续使用虚幻引擎和AI。“第一次发布内容通常会让人伤脑筋,但《Coherence》取得了出色的反响,”Aurelien总结说,“我们希望人们明白,人工智能的出现是为了协助和激励我们,而不是抢走我们的工作,这个录影带正是我们实现这个目标的第一步。”

    立即获取虚幻引擎!

    获取全球最开放、最先进的创作工具。
    虚幻引擎包罗万象,并提供完整的源代码访问权限,开箱即用,诚意十足。
    新版本为虚幻带来网格体转MetaHuman等大量功能!
    新闻
    6月9日

    新版本为虚幻带来网格体转MetaHuman等大量功能!

    这个版本的MetaHuman框架不仅为MetaHuman Creator提供了新功能,也为虚幻引擎带来了激动人心的全新MetaHuman虚幻引擎插件,以及对虚幻引擎5中新的角色绑定、动画和物理功能的支持。
    新版本为虚幻带来网格体转MetaHuman等大量功能!
    新闻

    新版本为虚幻带来网格体转MetaHuman等大量功能!

    这个版本的MetaHuman框架不仅为MetaHuman Creator提供了新功能,也为虚幻引擎带来了激动人心的全新MetaHuman虚幻引擎插件,以及对虚幻引擎5中新的角色绑定、动画和物理功能的支持。
    虚幻引擎5现已发布!
    新闻
    4月5日

    虚幻引擎5现已发布!

    在这个版本中,我们的目标是助力各种规模的团队在视觉领域和互动领域挑战极限,施展无限潜能。虚幻引擎5将带来前所未有的自由度、保真度和灵活性,帮助游戏开发者和各行各业的创作者创造新一代实时3D内容和体验。
    虚幻引擎5现已发布!
    新闻

    虚幻引擎5现已发布!

    在这个版本中,我们的目标是助力各种规模的团队在视觉领域和互动领域挑战极限,施展无限潜能。虚幻引擎5将带来前所未有的自由度、保真度和灵活性,帮助游戏开发者和各行各业的创作者创造新一代实时3D内容和体验。
    2022年虚拟制片周
    活动
    1月28日

    2022年虚拟制片周

    敬请加入我们为期一周的虚拟制片庆典,我们将与LucasFilm、DNEG、ReelFX、Halon Entertainment、The Third Floor等公司的行业领导者共同庆祝虚拟制片的成功。
    2022年虚拟制片周
    活动

    2022年虚拟制片周

    敬请加入我们为期一周的虚拟制片庆典,我们将与LucasFilm、DNEG、ReelFX、Halon Entertainment、The Third Floor等公司的行业领导者共同庆祝虚拟制片的成功。