MetaHuman技术让一万年前的萨满获得重生
2022年6月16日
恰好同样位于塞尔维亚的3Lateral就该项目与与Stefanović展开了合作。这家公司是行业领先的数字人类技术开发商，现已隶属于Epic Games。3Lateral的团队一直在与Cubic Motion（Epic Games家族的另一成员）以及虚幻引擎团队的同事合作开发MetaHuman框架，并于去年免费开放了基于该框架的云端应用MetaHuman Creator的抢先体验版。MetaHuman Creator允许任何人在几分钟内创造出衍生自其数据库中扫描数据的独特高保真数字人类。
然而，最新版MetaHuman框架不仅为MetaHuman Creator带来了新功能，也新推出了适用于虚幻引擎的MetaHuman插件。该插件最主要的功能是网格体转MetaHuman，它提供了用于复活萨满的核心技术。这项振奋人心的开发成果现已免费开放给所有人使用，你可以根据自己的定制模型创建MetaHuman，不需要具备专门的知识即可完成类似的项目。
然而，最新版MetaHuman框架不仅为MetaHuman Creator带来了新功能，也新推出了适用于虚幻引擎的MetaHuman插件。该插件最主要的功能是网格体转MetaHuman，它提供了用于复活萨满的核心技术。这项振奋人心的开发成果现已免费开放给所有人使用，你可以根据自己的定制模型创建MetaHuman，不需要具备专门的知识即可完成类似的项目。
使用传统技术对面部进行物理重建
20世纪60年代，位于塞尔维亚东部多瑙河畔的莱潘斯基维尔聚居地被首次发现。该遗址具有重大历史意义，它展示了欧洲史前文化的早期发展阶段。遗址出土了约500副骨架，其中一副被认为是“萨满”的骨架，因为当人们发现他时，他是以不同寻常的盘腿莲花坐姿出现的。据估计，萨满生活在公元前8000年左右。专家小组能够根据这副骨架确定他的身高、体重，甚至判断他主要以海鲜为食。为了启动重建工作，团队需要为史前头骨制作精确的物理复制品，以保持原物的完整性。在塞尔维亚诺维萨德生物传感研究所的考古学家Jugoslav Pendić的指导下，团队开始使用全帧摄像机捕捉数百张2D图像，重现萨满的史前面部特征。随后，他们导入到RealityCapture中形成一个3D虚拟模型，这样就可以3D打印出物理模型。
接下来，头骨复制品被交给了瑞典的法医艺术家和考古学家Oscar Nilsson，他是为世界各地博物馆重建古代人类面部模型的专家。Nilsson开始进行法医面部重建工作。他会使用粘土添加肌肉层和皮肤层，其厚度由对象的性别、年龄、种族和估计体重决定。
将静态网格体转换为可动模型
为了使实际的萨满模型栩栩如生，他们再次使用Peel扫描仪扫描了尚未添加皮肤纹理和头发的粘土重建模型，然后通过RealityCapture进行重建，用于创作数字模型。应用基本的皮肤和眼睛纹理后（下一步的先决条件），就可以为网格体执行网格体转MetaHuman流程了。使用虚幻引擎5中的自动地标追踪，网格体转MetaHuman功能会调整MetaHuman拓扑模板，以适应萨满的扫描数据。接下来，这个新网格体会被提交到云端，并匹配到一个与萨满面部几何形状和比例相似的MetaHuman，然后自动采用该MetaHuman的面部绑定。这项技术使用MetaHuman Creator庞大的真人表情扫描数据库，为这张古代人脸生成了“统计学上的估计表情”，同时保留了差异，以维持原始的面相。要进一步了解这个过程的运作方式，请查看此教程。
这个过程结束后，就可以在MetaHuman Creator中打开该角色了。团队可以立即按下播放按钮，使用应用内置的几种预设动画让萨满复活过来。
使用MetaHuman Creator完善肖像
接下来，在与考古学家、法医以及一名MetaHuman角色美术师的合作会议中，团队可以在MetaHuman Creator中缩小萨满外貌中面部毛发和皮肤属性的范围。对现有DNA的分析表明，他应该有着“中等黑”的皮肤、黑发和棕色眼睛。“我们可以估计出皮肤、头发和眼睛的颜色，准确率超过90%。”Stefanović说。
皱纹和白发是依据他的估计年龄添加的；牙齿按照头骨形状进行过调整；他的发型和胡须样式是根据公元前8000年应该合理存在的修剪工具（如贝壳）设计的。
设计完萨满的数字外貌后，Nilsson接下来可以将同样的造型应用到物理模型上，完成传统的3D重建。
“MetaHuman Creator中的所有这些来回工作都做得非常出色，因为我通常需要手工完成这些工作，代价高昂，非常耗时。”Nilsson说，“但现在能通过数字方式完成这些任务，这是一项革命性的突破。”
设计完萨满的数字外貌后，Nilsson接下来可以将同样的造型应用到物理模型上，完成传统的3D重建。
“MetaHuman Creator中的所有这些来回工作都做得非常出色，因为我通常需要手工完成这些工作，代价高昂，非常耗时。”Nilsson说，“但现在能通过数字方式完成这些任务，这是一项革命性的突破。”
与历史实时互动
然后，团队将数字模型导入到虚幻引擎中，创建了具有逼真光照的虚拟环境。他们可以使用MetaHuman面部绑定为萨满手动制作动画，也可以使用免费的Live Link Face应用程序，通过iPhone或iPad捕捉面部动画，实时流送给虚幻引擎中的角色。虚拟模型和物理模型是并行制作的。最后，在2020年的迪拜世博会上，为实现该项目提供了支持的国家平台“塞尔维亚创造”公开了该模型。在展示会上，参观者能够通过iPhone捕捉自己的表情，然后在屏幕上看到数字萨满通过实时动画做出相同的表情。
“当没有人与他互动时，我们就让他打哈欠，借用同类MetaHuman的一些动画拉伸他的脸。”3Lateral解决方案专家Adam Kovač说，“看他微笑是一种纯粹的快乐。”
“当没有人与他互动时，我们就让他打哈欠，借用同类MetaHuman的一些动画拉伸他的脸。”3Lateral解决方案专家Adam Kovač说，“看他微笑是一种纯粹的快乐。”
Stefanović表示同意。“在此之前，我们从来没有机会目睹古代人类表达情感时的样子。”她说。
现在，在贝尔格莱德的塞尔维亚国家博物馆中，这个互动装置与该机构收藏的莱潘斯基维尔文物一起展出。
虽然在游戏和电影行业中，MetaHuman框架引起了众人的兴趣，但莱潘斯基维尔的萨满让人们粗略地看到，这项技术如何为传统领域（如考古学和法医学）中的创新项目提供支持。该团队希望这一突破性的重建工作能够激发其他开拓者的想象力，在不同领域中进行实验。“我们看到有团队在医学、汽车，甚至是心理学研究领域探索它的用途，”Kovač说，“所以，未来的方向完全取决于用户。”
现在，在贝尔格莱德的塞尔维亚国家博物馆中，这个互动装置与该机构收藏的莱潘斯基维尔文物一起展出。
虽然在游戏和电影行业中，MetaHuman框架引起了众人的兴趣，但莱潘斯基维尔的萨满让人们粗略地看到，这项技术如何为传统领域（如考古学和法医学）中的创新项目提供支持。该团队希望这一突破性的重建工作能够激发其他开拓者的想象力，在不同领域中进行实验。“我们看到有团队在医学、汽车，甚至是心理学研究领域探索它的用途，”Kovač说，“所以，未来的方向完全取决于用户。”
准备创建你自己的独特MetaHuman吗？
访问MetaHuman产品页面，了解关于如何报名参加抢先体验计划的详细信息，并查阅文档、教程与常见问题解答。