Images courtesy of Digital Twin Cities Centre
보이지 않는 것의 시각화: 현실 세계와 가상 세계의 사운드
Ken Pimentel |
2021년 3월 8일리얼타임 기술은 더 만달로리안(The Mandalorian)에 나오는 멋진 배경이나 포토리얼한 디지털 휴먼과 같은 비주얼의 즉각적인 렌더링과 필연적으로 연관되어 있습니다.
또한 언리얼 엔진과 같은 게임 엔진은 사운드처럼 보이지 않는 에너지를 시뮬레이션하고 시각화하는 강력한 툴입니다. 이러한 기능은 AEC 산업에 흥미로운 방식으로 적용될 수 있습니다.
대부분의 오디오 시뮬레이션을 만들 때는 결과를 도출하기 위해 상당한 처리 시간이 소요되는 특수한 툴을 사용합니다. 이런 건 리얼타임 시뮬레이션이 아닙니다. 파라미터를 미세조정하는 데 몇 시간의 재처리 시간이 걸리기 때문입니다. 이는 오프라인 패스 트레이서를 사용해 씬에서 라이트의 반사를 계산하면 몇 분이나 몇 시간까지도 걸리곤 하는 렌더링 상황과 비슷합니다.
이와 유사하게 사운드 시뮬레이터는 사운드 웨이브가 접촉하는 머티리얼에 의해 어떻게 반사되고 굴절되는지 계산합니다. 이 시뮬레이터에서 얻은 결과를 언리얼 엔진으로 가져오면 엔진의 사운드 기능과 그래픽 기능을 함께 이용하여 사운드스케이프를 탐색할 수 있습니다. 쿤달(Cundall)이라는 기업은 현재 리얼타임 시뮬레이션을 위해 언리얼 엔진에서 고급 사운드 기능의 사용법을 탐구하고 있습니다.
머지 않아 어떻게 다양한 표면 마감이 강의실에서 스피치를 명료하게 들리도록 만드는지, 공연장에서는 음악이 어떻게 들리는지, 쇼핑몰에 차분한 느낌을 주는 마감 기법은 무엇인지 리얼타임 오디오 시뮬레이션으로 설명할 수 있을 것입니다.
찰머스 공과대학(Chalmers University of Technology)에서 주관하는 디지털 트윈 시티 센터(Digital Twin Cities Centre)의 연구진들은 보이지 않는 것을 시각화하는 것에 관심을 가지고 있습니다. 그들은 사운드 웨이브의 동작을 시각화하면 강력한 시각화 방법을 통해 복잡한 프로세스를 설명하여 도시 계획 프로세스를 보다 향상할 수 있다고 말합니다.
또한 언리얼 엔진과 같은 게임 엔진은 사운드처럼 보이지 않는 에너지를 시뮬레이션하고 시각화하는 강력한 툴입니다. 이러한 기능은 AEC 산업에 흥미로운 방식으로 적용될 수 있습니다.
대부분의 오디오 시뮬레이션을 만들 때는 결과를 도출하기 위해 상당한 처리 시간이 소요되는 특수한 툴을 사용합니다. 이런 건 리얼타임 시뮬레이션이 아닙니다. 파라미터를 미세조정하는 데 몇 시간의 재처리 시간이 걸리기 때문입니다. 이는 오프라인 패스 트레이서를 사용해 씬에서 라이트의 반사를 계산하면 몇 분이나 몇 시간까지도 걸리곤 하는 렌더링 상황과 비슷합니다.
이와 유사하게 사운드 시뮬레이터는 사운드 웨이브가 접촉하는 머티리얼에 의해 어떻게 반사되고 굴절되는지 계산합니다. 이 시뮬레이터에서 얻은 결과를 언리얼 엔진으로 가져오면 엔진의 사운드 기능과 그래픽 기능을 함께 이용하여 사운드스케이프를 탐색할 수 있습니다. 쿤달(Cundall)이라는 기업은 현재 리얼타임 시뮬레이션을 위해 언리얼 엔진에서 고급 사운드 기능의 사용법을 탐구하고 있습니다.
머지 않아 어떻게 다양한 표면 마감이 강의실에서 스피치를 명료하게 들리도록 만드는지, 공연장에서는 음악이 어떻게 들리는지, 쇼핑몰에 차분한 느낌을 주는 마감 기법은 무엇인지 리얼타임 오디오 시뮬레이션으로 설명할 수 있을 것입니다.
찰머스 공과대학(Chalmers University of Technology)에서 주관하는 디지털 트윈 시티 센터(Digital Twin Cities Centre)의 연구진들은 보이지 않는 것을 시각화하는 것에 관심을 가지고 있습니다. 그들은 사운드 웨이브의 동작을 시각화하면 강력한 시각화 방법을 통해 복잡한 프로세스를 설명하여 도시 계획 프로세스를 보다 향상할 수 있다고 말합니다.
현실 세계의 음향을 위한 리얼타임 기술
쿤달은 주거, 의료 서비스, 항공에 이르기까지 다양한 부문에 엔지니어링 서비스를 제공하는 글로벌 컨설턴트 회사로, 토목 공학, 스마트 빌딩, 지속가능성, 음향 공학 등을 비롯한 다양한 서비스를 제공합니다.
©Tim Cornbill 이미지 제공(왼쪽) / ©Mark Forrer 이미지 제공(오른쪽)
앤드류 파킨(Andrew Parkin)은 쿤달의 음향 부문 파트너이자 글로벌 책임자입니다. 음향 컨설턴트로서 그의 역할은 고객과 관계자에게 아직 완성되지 않은 공간에서 소리가 어떻게 움직일지 쉽게 이해시키는 것입니다. 파킨은 이렇게 설명합니다. “빌딩 디자인 과정에서 음향 예측의 정확성을 최적화함으로써 고객의 기대 수준과 실제 결과 사이의 괴리를 최소화할 수 있습니다. 게임 엔진은 이 작업에서 중요한 역할을 합니다.”
쿤달에서는 공간을 디자인할 때 내부 마감에서부터 공간의 지오메트리에 이르기까지 모든 것에 관해 조언합니다. 고객과 관계자가 쿤달에서 권하는 사항을 받아들이려면 그러한 결정을 뒷받침하는 이유를 이해해야 합니다.
잔향 시간과 같이 수치화된 기술적 데이터를 기반으로 한 추천은 음향 전문가가 아닌 사람이나 비전문가에게는 큰 의미가 없습니다. 이와 달리 경험적인 방식으로 소통하는 능력은 공간에 완전히 몰입할 수 있도록 만들어줍니다.
쿤달의 리얼타임 경험 시스템인 가상 음향 현실(VAR, Virtual Acoustic Reality)이 바로 그런 기능을 합니다. 오디오 시뮬레이션을 위한 쿤달의 원래 시스템은 오디오 예측에는 CATT 음향(CATT Acoustic)을, 워크스루에는 CATT 워커(CATT-Walker)를, 프론트엔드 그래픽에는 게임 엔진을, 비주얼 출력으로는 오큘러스 리프트(Oculus Rift)를 사용하고 오디오에는 고퀄리티 사운드카드와 노이즈 캔슬링 헤드폰을 사용합니다.
쿤달에서는 공간을 디자인할 때 내부 마감에서부터 공간의 지오메트리에 이르기까지 모든 것에 관해 조언합니다. 고객과 관계자가 쿤달에서 권하는 사항을 받아들이려면 그러한 결정을 뒷받침하는 이유를 이해해야 합니다.
잔향 시간과 같이 수치화된 기술적 데이터를 기반으로 한 추천은 음향 전문가가 아닌 사람이나 비전문가에게는 큰 의미가 없습니다. 이와 달리 경험적인 방식으로 소통하는 능력은 공간에 완전히 몰입할 수 있도록 만들어줍니다.
쿤달의 리얼타임 경험 시스템인 가상 음향 현실(VAR, Virtual Acoustic Reality)이 바로 그런 기능을 합니다. 오디오 시뮬레이션을 위한 쿤달의 원래 시스템은 오디오 예측에는 CATT 음향(CATT Acoustic)을, 워크스루에는 CATT 워커(CATT-Walker)를, 프론트엔드 그래픽에는 게임 엔진을, 비주얼 출력으로는 오큘러스 리프트(Oculus Rift)를 사용하고 오디오에는 고퀄리티 사운드카드와 노이즈 캔슬링 헤드폰을 사용합니다.
여기서 만들어지는 오디오 시뮬레이션의 정확성은 높지만, 시스템이 무겁고 느리며 프로세서를 많이 소비합니다. 이 시스템에는 현장 내부 마감을 기반으로 하는 공간 사전 분석이 필요합니다. 따라서 디자인이 변경될 때마다 오프라인에서 모델이 다시 계산되어야 하며, 여기에는 상당한 시간과 노력이 듭니다. 컨설턴트 업계에서 시간은 곧 돈이죠.
최종 디자인 프레젠테이션 단계라면 괜찮지만, 디자인을 자주 변경해야 하며 다양한 옵션을 빠르게 탐색하고 배제해야 하는 반복적인 디자인 프로세스에서는 이렇게 할 수 없습니다. 이러한 변경사항이 다이내믹하고 정확한 방식으로 어떻게 들릴지 검토할 수 있게 된다면 디자인과 참여 프로세스를 상당히 향상할 수 있습니다.
다이내믹 오디오 시뮬레이션은 매우 복잡하여 현재로서는 실시간으로 정확하게 오디오를 시뮬레이션할 수 없기 때문에 미리 베이크해야 합니다.
전통적인 음향 모델링 소프트웨어에서 더욱 게임화된 솔루션으로 전환함으로써, 쿤달에서는 프로세스를 개선하여 프로세서 사용량을 최적화하고 더 많은 작업이 실시간으로 이루어지길 바라고 있습니다.
궁극적인 목표는 가능한 한 전용 소프트웨어의 정확도에 근접한 리얼타임 시뮬레이션을 만드는 것으로, 사전 베이킹을 전혀 하지 않거나 최소화하고, 작업 중에 모델을 변경할 수 있으며, 현재처럼 24시간까지 기다리지 않고 즉각적으로 결과를 얻는 것입니다.
쿤달은 이를 염두에 두고 언리얼 엔진을 기반으로 한 새로 업데이트된 시스템을 실험해 왔습니다. 파킨은 이렇게 말합니다. “시스템을 완벽하게 간소화하고 싶었습니다. 그렇기 때문에 시스템을 더 빠르고 안정적이게 만들어 주는 언리얼 엔진을 단일한 플랫폼으로 사용했습니다.”
최종 디자인 프레젠테이션 단계라면 괜찮지만, 디자인을 자주 변경해야 하며 다양한 옵션을 빠르게 탐색하고 배제해야 하는 반복적인 디자인 프로세스에서는 이렇게 할 수 없습니다. 이러한 변경사항이 다이내믹하고 정확한 방식으로 어떻게 들릴지 검토할 수 있게 된다면 디자인과 참여 프로세스를 상당히 향상할 수 있습니다.
다이내믹 오디오 시뮬레이션은 매우 복잡하여 현재로서는 실시간으로 정확하게 오디오를 시뮬레이션할 수 없기 때문에 미리 베이크해야 합니다.
전통적인 음향 모델링 소프트웨어에서 더욱 게임화된 솔루션으로 전환함으로써, 쿤달에서는 프로세스를 개선하여 프로세서 사용량을 최적화하고 더 많은 작업이 실시간으로 이루어지길 바라고 있습니다.
궁극적인 목표는 가능한 한 전용 소프트웨어의 정확도에 근접한 리얼타임 시뮬레이션을 만드는 것으로, 사전 베이킹을 전혀 하지 않거나 최소화하고, 작업 중에 모델을 변경할 수 있으며, 현재처럼 24시간까지 기다리지 않고 즉각적으로 결과를 얻는 것입니다.
쿤달은 이를 염두에 두고 언리얼 엔진을 기반으로 한 새로 업데이트된 시스템을 실험해 왔습니다. 파킨은 이렇게 말합니다. “시스템을 완벽하게 간소화하고 싶었습니다. 그렇기 때문에 시스템을 더 빠르고 안정적이게 만들어 주는 언리얼 엔진을 단일한 플랫폼으로 사용했습니다.”
언리얼 엔진 마켓플레이스는 쿤달이 언리얼 엔진을 처음 접한 곳이었습니다. 파킨은 설명합니다. “마켓플레이스는 쿤달을 비즈니스로서 언리얼 월드에 입문하게 한 시발점입니다. 최초로 서드 파티 플러그인을 활용해 VAR 시스템 개발용으로 엔진의 잠재력을 연구했습니다.”
파킨의 팀은 컴퓨터 프로그래머가 아니라 음향 전문가들로 이루어져 있지만, 블루프린트 비주얼 스크립팅 시스템 덕분에 일반적으로 프로그래머만 사용할 수 있었던 모든 콘셉트와 툴을 이용할 수 있었습니다. 파킨은 이야기합니다. “ 블루프린트 비주얼 스트립팅 시스템을 사용하면 인터랙티브한 콘텐츠 제작의 메커니즘을 직관적으로 이해할 수 있습니다. 이는 저희처럼 코딩 관련 지식이 없을 수 있는 음향 컨설턴트들에게 특히 중요합니다.”
쿤달에서 음향 시뮬레이션을 위한 플랫폼으로 언리얼 엔진을 실험해 보는 것은 시작일 뿐입니다. 초기 테스트 결과, 기존 시스템에서 가능했던 수준의 정확도를 달성하려면 작업이 더 필요하지만 속도와 퍼포먼스 측면에서 큰 이점이 있었습니다. 파킨은 이렇게 말합니다. “저희의 최종 목표는 설계 단계에서 빌딩이나 공간의 소리가 어떻게 울릴지를 정확하게 묘사하는 버추얼 모델을 만드는 것입니다. 그런 다음 버튼을 눌러 내부 마감을 적용해 보거나 룸의 모양을 변경하며 음향 상태가 즉각적으로 변화하는 것을 확인할 수 있다면 정말 굉장하겠죠.”
도시 계획을 위한 사운드 시각화
리얼타임 기술을 사용하면 내부 공간의 사운드를 평가할 기회를 얻을 뿐 아니라, 외부 환경에서의 사운드 웨이브 동작을 시각화할 수도 있습니다.
Digital Twin Cities Centre 이미지 제공
스웨덴의 DTCC(디지털 트윈 시티 센터)는 스마트 시티 연구를 선도하는 기관 중 하나입니다. 이 기관은 AEC 산업을 위한 애플리케이션을 포함하여 다양한 애플리케이션을 가능하게 하는 툴과 메서드 제작에 집중하고 있습니다. 데이터는 언리얼 엔진에 빌드된 디지털 트윈 시티 플랫폼(Digital Twin City Platform)에서 시각화됩니다.
DTCC 팀이 분석하는 데이터 유형 중 하나는 사운드입니다. DTCC의 디자인 리드인 파비오 라티노(Fabio Latino)는 말합니다. “사운드는 눈에 보이지 않지만 이를 시각화하여 관계자들은 사운드 환경과 관련된 잠재적 문제를 이해할 수 있고 도시 계획 입안자들은 계획 프로세스에서 이러한 시각화 자료를 활용할 수 있습니다.”
DTCC 팀이 분석하는 데이터 유형 중 하나는 사운드입니다. DTCC의 디자인 리드인 파비오 라티노(Fabio Latino)는 말합니다. “사운드는 눈에 보이지 않지만 이를 시각화하여 관계자들은 사운드 환경과 관련된 잠재적 문제를 이해할 수 있고 도시 계획 입안자들은 계획 프로세스에서 이러한 시각화 자료를 활용할 수 있습니다.”
도시 공간 설계에 관해 생각할 때 사운드의 동작을 첫 번째로 고려하지는 않겠지만, 음향은 더 나은 도시 환경을 구축하는 데 있어 큰 부분을 차지할 수 있습니다. 라티노는 설명합니다. “음향은 우리의 건강과 안녕에 영향을 미칩니다. 비록 도시 개발자의 우선 순위 목록에서 아래로 밀리거나 음향이 끼치는 영향이 흔히 제대로 인식되지 않더라도 말입니다.”
도시 계획 프로세스에 관여하는 관계자와의 대화에서, 서로 다른 교통 솔루션이 도시의 사운드스케이프에 어떻게 영향을 미치는지 시각화하는 능력은 각 솔루션이 환경과 사람의 건강에 미치는 영향을 관계자가 쉽게 이해하도록 도울 수 있습니다. 결과적으로 더 나은 디자인을 결정하는 데 기여할 수 있습니다.
Digital Twin Cities Centre 이미지 제공
산제이 소마나스(Sanjay Somanath)는 찰머스 공과대학에서 박사 과정을 공부하는 학생입니다. 그의 연구는 도시 구역 계획을 위한 디지털 툴 개발에 초점이 맞춰져 있으며, DTCC와 협력하여 언리얼 엔진에 GIS 데이터를 처리해 보내는 작업을 진행하고 있습니다. 소마나스는 설명합니다. “다양한 도시 시나리오를 위해 소음 분석 데이터를 시각화하는 것이 목표입니다. 컬러 스케일과 텍스처를 수용하여 언리얼 엔진 내의 디지털 트윈 모델에 이 2D 데이터를 시각화하는 커스텀 머티리얼 파이프라인을 랜드스케이프 머티리얼 내에 만들었습니다.”
연구원들은 언리얼 엔진을 선택하여 정착하기 전에 수많은 리얼타임 플랫폼 옵션을 탐구했습니다. DTCC의 리드 개발자인 바실리스 나세렌틴(Vasilis Naserentin)은 말합니다. “언리얼 엔진의 최첨단 기술과 더불어, 에픽에서는 엄청난 노력을 기울여 언리얼 엔진을 AEC 산업의 요구사항을 충족하는 고유 생태계로 만들었습니다. 저희는 AEC를 위한 연구와 개발의 중간에 머물러 있기 때문에 양 작업을 모두 지향할 수 있다는 점이 아주 중요합니다.”
쿤달과 마찬가지로 찰머스 공과대학의 연구원들은 블루프린트를 잘 활용하고 있습니다. 비주얼 스크립팅 시스템은 연구원들이 빌드한 서로 다른 시스템 사이에서 접착제 역할을 하여 시스템들이 서로 통신할 수 있게 해주었습니다. DTCC의 언리얼 엔진 개발자인 오르피스 엘레프테리우(Orfeas Eleftheriou)는 말합니다. “즉시 결과를 확인할 수 있어 개발에 너무 많은 시간을 소요하지 않으면서 새로운 아이디어를 테스트하고 고객에게 정보를 잘 전달하는 프로토타입을 개발할 수 있습니다.”
Digital Twin Cities Centre 이미지 제공
팀은 또한 언리얼 엔진에서 건축 디자인에 사용되는 다양한 툴을 지원한다는 점에 매료되었습니다. 연구원들은 데이터스미스를 사용하여 다양한 유형의 데이터와 소스를 빠르고 쉽게 임포트할 수 있었습니다. 엘레프테리우는 이렇게 이야기합니다. “데이터스미스 덕분에 다양한 유형의 데이터를 어떻게 다뤄야 할지 걱정하지 않고 환경을 구축하는 데 온전히 집중할 수 있었습니다.”
가능한 한 빨리 작업을 선보일 수 있게 해준 고해상도 스크린샷과 동영상을 곧바로 렌더링하는 기능은 연구원들의 관심을 끌었습니다. 엘레프테리우가 설명합니다. “시퀀서는 저희 프로젝트에서 아주 중요한 역할을 했습니다. 저희가 만든 툴의 정확도를 테스트하고 다양한 기능을 선보이고자 했을 때, 전문 지식의 수준이 서로 다른 사람들과 더욱 수월하게 커뮤니케이션할 수 있게 도와주는 고충실도 동영상을 렌더링할 수 있었습니다.”
마지막으로, 리얼타임 기술은 DTCC가 아이디어를 더욱 빠르게 프로토타이핑하고 반복작업할 수 있게 해주었습니다. 찰머스 공과대학 컴퓨터 과학 및 공학부의 부교수이자 수석 연구원인 베아타 스타레이 웨스트버그(Beata Stahre Wästberg)는 이렇게 말합니다. “인터랙티브 환경을 위한 아이디어를 구상할 때는 주로 스태틱 이미지를 초기 디자인 툴로 사용해 왔습니다. 언리얼 엔진을 사용하면서 인터랙티브한 측면을 디자인 프로세스 초반에 고려할 수 있게 되어, 보다 쉽게 아이디어를 개발하고 효율적으로 작업할 수 있었습니다.”
이들과 같은 선구자들이 청각적 경험을 제작하기 위해 리얼타임 기술의 잠재력을 깊이 탐구하고 있으니, 미래에는 더욱 극대화된 몰입형 가상 세계와 보다 우수하게 설계된 도시 공간을 만나게 될 거라 전망합니다.
가능한 한 빨리 작업을 선보일 수 있게 해준 고해상도 스크린샷과 동영상을 곧바로 렌더링하는 기능은 연구원들의 관심을 끌었습니다. 엘레프테리우가 설명합니다. “시퀀서는 저희 프로젝트에서 아주 중요한 역할을 했습니다. 저희가 만든 툴의 정확도를 테스트하고 다양한 기능을 선보이고자 했을 때, 전문 지식의 수준이 서로 다른 사람들과 더욱 수월하게 커뮤니케이션할 수 있게 도와주는 고충실도 동영상을 렌더링할 수 있었습니다.”
마지막으로, 리얼타임 기술은 DTCC가 아이디어를 더욱 빠르게 프로토타이핑하고 반복작업할 수 있게 해주었습니다. 찰머스 공과대학 컴퓨터 과학 및 공학부의 부교수이자 수석 연구원인 베아타 스타레이 웨스트버그(Beata Stahre Wästberg)는 이렇게 말합니다. “인터랙티브 환경을 위한 아이디어를 구상할 때는 주로 스태틱 이미지를 초기 디자인 툴로 사용해 왔습니다. 언리얼 엔진을 사용하면서 인터랙티브한 측면을 디자인 프로세스 초반에 고려할 수 있게 되어, 보다 쉽게 아이디어를 개발하고 효율적으로 작업할 수 있었습니다.”
미래의 청각적 경험 향상
쿤달과 찰머스 공과대학의 DTCC는 사운드 시뮬레이션과 시각화를 선도하는 조직입니다. 두 조직의 작업은 리얼타임 기술이 어떻게 가상 세계로의 몰입을 향상시키고 현실 세계의 청각적 경험을 강화하는 강력한 툴이 될 수 있는지 보여줍니다.이들과 같은 선구자들이 청각적 경험을 제작하기 위해 리얼타임 기술의 잠재력을 깊이 탐구하고 있으니, 미래에는 더욱 극대화된 몰입형 가상 세계와 보다 우수하게 설계된 도시 공간을 만나게 될 거라 전망합니다.
지금 언리얼 엔진을 다운로드하세요!
세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.