BTS와 Coldplay가 함께한 'My Universe' 라이브 홀로그램 공연

또한 리얼타임 워크플로 덕분에 팀원들은 언리얼 엔진에서 전체 공연을 카메라 블로킹할 수 있었습니다. 이로써 두 밴드는 각 샷의 페이스를 미리 확인할 수 있었을 뿐 아니라 프로덕션 팀 역시 카메라 위치마다 커버리지가 충분한지 확인할 수 있어 촬영에 필요한 카메라와 렌즈를 결정할 수 있었습니다.

올 오브 잇 나우의 버추얼 프로덕션 감독 베르토 모라(Berto Mora)는 말합니다. “원래는 카메라 4개를 사용하려고 했습니다. 하지만 더 보이스 팀과 콜드플레이 팀이 실시간으로 전송할 수 있는 퀄리티 수준을 보더니 카메라 7개를 사용하면 전반적인 프로덕션 퀄리티가 더욱 높아질 것으로 빠르게 의견을 모았습니다.”

아이디어를 무대에서 실현하다

프로덕션이 시작되고 나서는 언리얼 엔진에서 마이 유니버스 뮤직비디오 촬영에서 캡처한 BTS의 볼류메트릭 원본 영상으로 7개 피드를 모두 합성하고 재생하는 작업을 진행했습니다. 모라는 말합니다. “멤버 7명 모두를 360도로 멋지게 촬영할 수 있었기 때문에 다양한 영상 샷을 찍을 수 있었습니다. 카메라마다 전용 서버를 갖춘 덕분에 감독이 모든 피드를 동시에 살펴보면서 증강현실 BTS 멤버들이 실제 콜드플레이 밴드와 함께 무대에 있는 것처럼 공연을 편집할 수 있었습니다.”

그런 다음에는 스타이프(Stype)의 스타이프랜드(Stypeland) 플러그인을 사용하여 카메라 트래킹 및 렌즈 디스토션 데이터를 모두 수집했습니다. 이렇게 수집한 데이터는 라이브 링크로 기록되었습니다. 이에 따라 팀원들은 각 멤버의 솔로 파트에서 선택한 세그먼트를 다시 렌더링하고 포스트 프로덕션 단계에서 특정 멤버를 위한 립싱크를 프레임 레벨로 조정할 수 있었습니다. 한편 무대 위에서는 올 오브 잇 나우 팀원들이 저명한 디자이너 수너 루티에르(Sooner Routhier)와 함께 특정 플로어 라이트를 사용하여 콜드플레이 뮤지션들이 어떤 증강현실 멤버가 언제 무대에 등장하는지 파악하는 데 도움을 주었습니다.

리얼타임 테크놀로지의 장점

모든 혁신적인 워크플로가 그렇듯이 볼류메트릭 비디오도 사용이 쉽지만은 않았습니다. 심지어 BTS 멤버 에셋과 콜드플레이의 완벽한 동기화 상태를 유지하기 위해 올 오브 잇 나우의 팀원들은 마이크로소프트(Microsoft)와 함께 플러그인 코드를 다시 작성해야 할 정도였습니다. 방탄소년단 멤버 에셋이 마이크로소프트의 SVF 플러그인을 사용하여 특수한 MP4 익스포트로 제공되었기 때문이었습니다.

하지만 이 모든 어려움의 끝에는 큰 결실이 있었습니다. 볼류메트릭 캡처 데이터를 사용한 덕에 포스트 프로덕션 단계에서 특정 샷을 재합성할 수도 있었죠. 항상 전체 파이프라인이 리얼타임 공연과 재생에 맞게 설계되었기 때문에 재합성 작업을 더욱 쉽게 진행할 수 있었습니다. 모라는 말합니다. “각 비디오 파일은 아토모스 쇼군(Atomos Shogun)에서 재생되었고, 오디오와 비디오를 현장 프로덕션에 사용한 것과 같은 서버로 피드하여 기본적으로 현장과 동일한 라이브 시나리오를 재현할 수 있었습니다.”

올 오브 잇 나우의 리드 UE 아티스트 제프리 헵번(Jeffrey Hepburn)은 말합니다. “이 기법을 사용하여 자잘한 동기화 문제를 해결하거나 글리치 키프레임을 수정하여 각 샷의 글리치 이펙트를 가감할 수 있었습니다. 또한 커스텀 파이프라인 툴을 사용하여 타임코드 범위를 읽었고, 기록된 트래킹 데이터로 테이크를 찾았으며, 포스트 프로덕션 단계에서 수정해야 하는 각 샷에 필요한 트래킹 데이터만으로 새로운 시퀀스를 만들었습니다. 프레임 범위가 올바르게 지정된 테이크를 수동으로 확인할 때보다 시간이 절약되었기 때문에 빠른 처리가 필요한 포스트 프로덕션 단계에서 큰 도움이 되었습니다.”

더 보이스가 방영되자 올 오브 잇 나우의 팀원들은 결과에 크게 만족했고, 아크투루스 홀로스위트(Arcturus Holosuite)를 사용하여 다른 볼류메트릭 비디오 애플리케이션에 병렬 파이프라인을 적용하는 방법을 살펴보기에 이르렀습니다. 이 방법을 사용하면 공연자의 머리 위치가 트래킹된 특정 카메라를 ‘따라가도록’ 바꿀 수 있습니다. 하지만 어떤 방법을 사용하든 언리얼 엔진은 항상 함께할 것으로 보입니다.