图像由Digital Twin Cities Centre提供
可视化无形之物：真实和虚拟世界的声音
Ken Pimentel |
2021年3月8日提到实时技术，人们必然联想到画面的即时渲染——《曼达洛人》中令人惊叹的背景或照片般真实的数字人类就是例子。
但虚幻引擎这样的游戏引擎也擅长模拟和可视化一种看不见的能量：声音。这种能力可以在建筑业得到有趣的应用。
大多数音频模拟工作使用专用工具，可能要花费几个小时处理才能得出结果。这些模拟不是实时模拟，因为对参数的任何调整都需要几个小时的再处理时间。这就好比渲染领域的情况，如果使用离线路径追踪器计算光线在场景中的反射，可能每一帧都要花费几分钟乃至几个小时。
音频模拟器也是以与此类似的方式计算声波如何被其遇到的材料反射和折射。可以将这类模拟器产生的结果放入虚幻引擎，使用引擎的图形功能及音频功能探究音景。Cundall就是一家正在探索使用虚幻引擎中的高级音频功能进行实时模拟的公式。
要不了多久，实时音频模拟就可以用来演示讲堂中的不同表面装饰可以如何提高演讲声音的清晰度，在礼堂中演奏的音乐效果如何，或者购物中心的饰面选择会如何营造平静感。
在查尔姆斯理工大学下属的Digital Twin Cities Centre（DTCC），研究者们对于无形之物的可视化产生了浓厚兴趣。在他们看来，通过将声波行为可视化，可以使用强大的可视化方法解释复杂过程，有助于改进城市规划流程。
但虚幻引擎这样的游戏引擎也擅长模拟和可视化一种看不见的能量：声音。这种能力可以在建筑业得到有趣的应用。
大多数音频模拟工作使用专用工具，可能要花费几个小时处理才能得出结果。这些模拟不是实时模拟，因为对参数的任何调整都需要几个小时的再处理时间。这就好比渲染领域的情况，如果使用离线路径追踪器计算光线在场景中的反射，可能每一帧都要花费几分钟乃至几个小时。
音频模拟器也是以与此类似的方式计算声波如何被其遇到的材料反射和折射。可以将这类模拟器产生的结果放入虚幻引擎，使用引擎的图形功能及音频功能探究音景。Cundall就是一家正在探索使用虚幻引擎中的高级音频功能进行实时模拟的公式。
要不了多久，实时音频模拟就可以用来演示讲堂中的不同表面装饰可以如何提高演讲声音的清晰度，在礼堂中演奏的音乐效果如何，或者购物中心的饰面选择会如何营造平静感。
在查尔姆斯理工大学下属的Digital Twin Cities Centre（DTCC），研究者们对于无形之物的可视化产生了浓厚兴趣。在他们看来，通过将声波行为可视化，可以使用强大的可视化方法解释复杂过程，有助于改进城市规划流程。
用于现实世界声学的实时技术
Cundall是一家全球性的咨询公司，为包括住宅、医疗、航空的各种领域提供工程服务。它提供的服务应有尽有，包括土木工程、智能建筑、可持续性和声学工程等，不胜枚举。
图像由©Tim Cornbill提供（左）/图像由©Mark Forrer提供（右）
Andrew Parkin是该公司的合伙人兼全球声学主管。作为声学顾问，他的职责是帮助客户和相关利益方理解声音在各种空间中将会有何表现，这些空间往往是尚待建造或装修的。“通过在建筑设计过程中优化声学预测的准确性，我们能够大大减少客户期待与最终现实的脱节——游戏引擎可在其中发挥关键作用，因为它们帮助我们开展这项工作。”他解释说。
当Cundall设计某个空间时，他的建议会涉及从内部装饰到房间几何结构的方方面面。客户或相关利益方需要理解决策背后的理由，才能认同Cundall的建议。
根据技术数据——例如以数字表示的混响时间——提出的建议只有在声学专家或特别懂的外行人眼中才有意义。如果能以体验方式进行交流，就可以向着全面沟通的目标迈出一大步。
这就是Cundall的实时体验系统Virtual Acoustic Reality（VAR）的用武之地。由公司原创的这个音频模拟系统使用CATT Acoustic进行音频预测，用CATT-Walker插件实现预排，用游戏引擎实现前端图形，用Oculus Rift输出画面，并用高品质声卡和消噪耳机输出音频。
当Cundall设计某个空间时，他的建议会涉及从内部装饰到房间几何结构的方方面面。客户或相关利益方需要理解决策背后的理由，才能认同Cundall的建议。
根据技术数据——例如以数字表示的混响时间——提出的建议只有在声学专家或特别懂的外行人眼中才有意义。如果能以体验方式进行交流，就可以向着全面沟通的目标迈出一大步。
这就是Cundall的实时体验系统Virtual Acoustic Reality（VAR）的用武之地。由公司原创的这个音频模拟系统使用CATT Acoustic进行音频预测，用CATT-Walker插件实现预排，用游戏引擎实现前端图形，用Oculus Rift输出画面，并用高品质声卡和消噪耳机输出音频。
虽然这个系统提供的音频模拟准确性很高，但它也显得笨重、缓慢，而且对处理器要求非常高。该系统还要求根据设定的内部饰面对空间作预分析。每当设计发生更改时，就需要让模型离线并重新计算，花费大量时间和精力——而在咨询领域，时间就是金钱。
这套系统用于最终设计演示尚可接受，但对于需要经常做出更改并快速探究和剔除各种选择的迭代式设计流程来说，毫无益处。如果能够以动态、准确的方式审查这些更改的音响效果，就可以大大改进设计和沟通流程。
但动态音频模拟实在太复杂，目前不可能实时而准确地进行——因此就需要预烘焙。通过从传统声学模拟软件转为更游戏化的解决方案，Cundall希望使流程合理化，从而优化处理器使用，使更多操作能够实时完成。
最终目标是在极少或没有预烘焙的情况下，获得准确度尽可能接近专有软件的实时模拟，以及实时更改模拟并立刻获得结果的能力——不必像现在这样作长达24小时的等待。
基于这些考虑，Cundall一直在试验一种基于虚幻引擎的新系统。“我们希望最好把系统精简为只用一种平台——虚幻引擎——这将使它变得更快更稳定。”Parkin说。
这套系统用于最终设计演示尚可接受，但对于需要经常做出更改并快速探究和剔除各种选择的迭代式设计流程来说，毫无益处。如果能够以动态、准确的方式审查这些更改的音响效果，就可以大大改进设计和沟通流程。
但动态音频模拟实在太复杂，目前不可能实时而准确地进行——因此就需要预烘焙。通过从传统声学模拟软件转为更游戏化的解决方案，Cundall希望使流程合理化，从而优化处理器使用，使更多操作能够实时完成。
最终目标是在极少或没有预烘焙的情况下，获得准确度尽可能接近专有软件的实时模拟，以及实时更改模拟并立刻获得结果的能力——不必像现在这样作长达24小时的等待。
基于这些考虑，Cundall一直在试验一种基于虚幻引擎的新系统。“我们希望最好把系统精简为只用一种平台——虚幻引擎——这将使它变得更快更稳定。”Parkin说。
虚幻商城是引导Cundall认识这种引擎的途径。“商城是最初吸引我们这家企业进入虚幻世界的要素，我们从利用第三方插件开始，研究了这款引擎用于VAR系统开发的潜力。”Parkin解释说。
Parkin的团队是声学专家而非计算机程序员，是蓝图可视化脚本系统使他们得以使用通常只有程序员能够利用的几乎所有概念和工具。“事实证明，蓝图的可视化脚本系统非常直观，能让人看懂创建交互式内容的机制。”他说，“对我们这样没有编程背景的声学顾问来说，这一点尤其重要。”
Cundall使用虚幻引擎作为声学模拟平台的试验才刚刚开始。初期试验证明了它在速度和性能方面的巨大优点，但还需要做更多工作才能达到旧系统的精度。“我们的最终目标是在设计阶段让建筑的虚拟模型准确表现建筑或房间的音响效果。”Parkin说，“那样一来，只要按一个按钮就能改变内部饰面或房间形状，而且声学情况也会即时地相应变化，那可太棒了。”
用于城市规划的声音可视化
实时技术不仅提供了评估室内空间声音效果的机会——它也能用于将外部环境中的声波行为可视化。
图像由Digital Twin Cities Centre提供
瑞典的Digital Twin Cities Centre（DTCC）是位于智能城市研究最前沿的机构之一。它主要的研究方向是创造实现种类繁多的应用的工具与方法，包括面向建筑业的工具与方法。它在基于虚幻引擎构建的Digital Twin City Platform中将数据可视化。
DTCC团队分析的数据类型之一就是声音。“声音是肉眼看不见的，这些可视化能够帮助相关利益方理解与声音环境有关的潜在问题，可供规划者用于城市规划流程。”DTCC的设计主管Fabio Latino说。
DTCC团队分析的数据类型之一就是声音。“声音是肉眼看不见的，这些可视化能够帮助相关利益方理解与声音环境有关的潜在问题，可供规划者用于城市规划流程。”DTCC的设计主管Fabio Latino说。
在考虑设计城市空间时，声音的表现可能不是你想到的第一要素——但是在建设未来更好的城市环境时，声学可能会起到重要作用。“虽然声学问题在城市开发者考虑的事项中往往排得比较靠后，而且其后果也常常得不到充分的理解，但声音确实会影响我们的健康和幸福。”Latino解释说。
在与涉及城市规划流程的相关利益方对话时，如果能够以可视化的形式将不同的交通解决方案对城市音景的影响表现出来，就可以帮助他们理解这些解决方案对环境和人类健康的影响。这反过来又能促成更好的设计决策。
图像由Digital Twin Cities Centre提供
Sanjay Somanath是查尔姆斯理工大学的一名博士生。他的研究重点是开发用于邻近社区规划的数字化工具，而他与DTCC的合作包括将GIS数据放到虚幻引擎中处理。“目标是将不同城建方案的噪声分析数据可视化。”Somanath说，“我们在地形材质中创建了一个自定义材质管线，用于接受色阶和纹理，然后将这种2D数据放到我们在虚幻引擎中的数字孪生模型上可视化。”
研究者们是在考察了多种选择后才选定虚幻引擎作为其实时平台的。“除了虚幻引擎提供的极为先进的技术功能外，Epic还下了很大功夫把这个软件做成一种真正独特的生态系统，能很好地满足建筑业的需求。”DTCC的首席开发员Vasilis Naserentin说，“我们是处在建筑业的研究与开发的交汇点上，所以对我们来说能够满足两方面的需求非常重要。”
和Cundall一样，查尔姆斯理工大学的研究者们也很好地利用了蓝图。这种可视化脚本系统就像胶水一样把他们构建的不同系统粘合到一起，使这些系统能够相互通信。“直接的结果就是，我们不必花太多开发时间就能够测试我们的新想法并开发出原型，更好地向客户传达信息。”DTCC的虚幻引擎开发员Orfeas Eleftheriou说。
图像由Digital Twin Cities Centre提供
团队也利用了虚幻引擎为各种建筑设计工具所提供的支持。通过使用Datasmith，研究者们得以方便快捷地导入不同类型和来源的数据。“Datasmith使我们能专心考虑建筑体验，不必担心如何处理不同类型的数据。”Eleftheriou说。
上手即用的渲染高分辨率屏幕截图和视频的选项对研究者们有很大吸引力，因为他们可以用它尽快展示工作成果。“Sequencer在我们的项目中发挥了重要作用。”Eleftheriou证实，“如果我们想要测试工具的准确度并展示各种功能，我们可以渲染出高保真度的视频，这帮助了我们与具有不同程度专业知识的人更好地进行沟通。”
最后，实时技术也使DTCC能更快设计原型和对设想进行迭代。“我大多数时候使用静态图像作为初始设计工具，构思用于交互式环境的设想。”查尔姆斯理工大学计算机科学和工程系的助理教授兼高级研究员Beata Stahre Wästberg说，“虚幻引擎使我们能够在设计过程的早期就考虑交互方面，这帮助了我们进行构思和提高效率。”
随着他们这样的先驱者继续探索实时技术用于创造听觉体验的潜力，未来我们必将看到更具沉浸感的虚拟世界和设计得更好的都市空间。
上手即用的渲染高分辨率屏幕截图和视频的选项对研究者们有很大吸引力，因为他们可以用它尽快展示工作成果。“Sequencer在我们的项目中发挥了重要作用。”Eleftheriou证实，“如果我们想要测试工具的准确度并展示各种功能，我们可以渲染出高保真度的视频，这帮助了我们与具有不同程度专业知识的人更好地进行沟通。”
最后，实时技术也使DTCC能更快设计原型和对设想进行迭代。“我大多数时候使用静态图像作为初始设计工具，构思用于交互式环境的设想。”查尔姆斯理工大学计算机科学和工程系的助理教授兼高级研究员Beata Stahre Wästberg说，“虚幻引擎使我们能够在设计过程的早期就考虑交互方面，这帮助了我们进行构思和提高效率。”
改进未来的听觉体验
Cundall和查尔姆斯理工大学的DTCC是两家位于声音模拟和可视化前沿的组织。他们的工作证明了实时技术可以成为提高虚拟世界中的沉浸感和改进现实世界中的听觉体验的强大工具。随着他们这样的先驱者继续探索实时技术用于创造听觉体验的潜力，未来我们必将看到更具沉浸感的虚拟世界和设计得更好的都市空间。
立即获取虚幻引擎！
获取全球最开放、最先进的创作工具。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。
虚幻引擎包罗万象，并提供完整的源代码访问权限，开箱即用，诚意十足。