88 Rising | Team Wang | Drive Studios | Synapse VP 이미지 제공

버추얼 프로덕션을 도입해 획기적인 뮤직비디오를 제작한 Jackson Wang

2023년 5월 18일
종말 후 도시, 아크로바틱한 격투 장면, 입으로 불을 뿜는 능력. 이건 할리우드 블록버스터의 클라이맥스 장면을 묘사하는 것이 아닙니다. 잭슨 왕(Jackson Wang)의 최신 뮤직비디오 크루얼(Cruel)에서 우리가 좋아하는 일부 장면들입니다. 시각적 효과를 강조하고 싶은 팝 음악에서 버추얼 프로덕션이 얼마나 큰 역할을 할 수 있는지를 잘 보여주죠.

음반사가 가장 호화로운 비디오 콘셉트에 기꺼이 돈을 쏟아붓던 MTV의 황금기는 먼 과거의 이야기입니다. 하지만, 잭슨과 같은 미래 지향적인 아티스트는 노래의 분위기를 고조시키는 매체를 통해 디지털 원주민들의 흥미를 끌 방법을 여전히 모색하고 있습니다.
 

전문가가 아니더라도 잭슨의 결과물을 보면 그가 작품을 대충 만들지 않는다는 것을 알 수 있습니다. 빈틈없이 프로듀싱된 신나는 노래부터 폭발적인 라이브 퍼포먼스까지, 잭슨은 창의적인 안목으로 모든 일을 합니다. 그래서 2023년 코첼라에 참여하게 된 잭슨은 자신의 최신 싱글의 비디오를 제작할 때가 되었을 때 입에서 불을 뿜는 능력과 악마가 등장하는 댄스 시퀀스로 가득한, 노래와 어울리는 정교한 콘셉트를 생각했습니다.

잭슨의 창의적인 뮤직비디오 아이디어는 VFX 출신의 경험 많은 디렉터인 리치 리(Rich Lee)에게 전달되었습니다. 빌리 아일리시(Billie Eilish)와 에미넴(Eminem), 리한나(Rihanna)와의 작업으로 유명한 리는 뛰어난 역량을 지닌 제작자입니다. 그러나 이렇게 정통한 디렉터에게도 크루얼 비디오 제작은 간단한 일이 아니었습니다.

시냅스 버추얼 프로덕션(Synapse Virtual Production)의 최고 크리에이티브 책임자(CCO)이기도 한 리는 말합니다. "예산과 타이밍을 고려했을 때, 영상을 현장에서 촬영할 수 없었습니다. 환경과 조명도 제어해야 했는데, 이는 기존의 방식으로는 할 수 없는 일이었죠."

언리얼 엔진을 기반으로 구축된 버추얼 프로덕션 워크플로만이 유일한 해결책이었습니다. 다행히도, 리와 그의 팀이 잭슨의 아이디어를 최고의 퀄리티로 전달할 수 있는 버추얼 프로덕션 스테이지 구축을 막 마친 상태였습니다. 그렇다고 잭슨과 그의 팀이 다들 기대에 부풀어 있었던 것은 아니었습니다.
 

급상승한 신뢰감

크루얼은 잭슨의 커리어의 다음 단계인 매직 맨(Magic Man) 앨범 사이클의 시작점이 될 곡이었기에 강렬한 인상을 남겨야 했습니다. 단 2주 만에 모든 일을 마무리해야 하는 상황에서 아티스트들이 전혀 접해 보지 않은 기술을 받아들이는 데 망설인 것은 당연한 일이었습니다. LED 배경이 카메라 이동에 어떤 제약이 될까? 댄스 안무와 어떻게 상호작용할까? 제한된 시간 내에 맞춤형 가상 환경을 제작해야 하는 상황에서 최종 결과가 얼마나 그럴듯하게 보일까?

이런 모든 고민은 아티스트들이 세트에 들어서자 말끔히 사라졌습니다. 지름 55피트 LED 월이 뒤에 있고 흙과 돌무더기로 덮인 스테이지에서 아티스트들과 프로덕션 팀은 실시간으로 최종 결과물에 가까운 영상을 볼 수 있었습니다. 아울러, 화면에 표시되는 디지털 환경은 화질 저하 없이 360도로 회전할 수 있었습니다. 스테이지의 몰입감이 뛰어나 아티스트의 퍼포먼스를 더욱 돋보이게 했습니다.
88 Rising | Team Wang | Drive Studios | Synapse VP 이미지 제공
시냅스 버추얼 프로덕션의 프리비즈/VAD/VFX 책임 프로듀서 루이스 베이커 리(Louise Baker Lee)는 말합니다. "아티스트들의 반응이 그린 스크린에서 촬영할 때와는 매우 달랐습니다. 악마 여왕을 맡은 베일리 속(Bailey Sok)은 자신이 실제 그 세계 속에 있다는 느낌만으로도 엄청난 차이가 났다고 하더군요. 기존의 소프트웨어와 파이프라인으로는 이런 즉각적인 만족감을 얻을 수 없습니다. 다시는 그린 스크린으로 작업하지 않아도 된다면 정말 기쁠 겁니다."

디지털 배경이 이미 준비되어 있었기에 리와 촬영 감독 크리스토퍼 프롭스트, ASC(Christopher Probst, ASC)는 합성과 VFX에 할당된 예산에 맞춰 촬영할 필요가 없었습니다. 그 대신 무제한으로 몇 번이고 촬영할 수 있었기에 팀은 즉흥적으로 촬영하면서 우연히 멋진 장면들을 얻어냈는데 이는 다른 방식으로는 불가능했을 것입니다. 심지어 버튼 하나만으로 디지털 배경의 요소들을 재배열할 수도 있었습니다.

프롭스트는 말합니다. "즉흥적인 작업이 가능한 거죠. 아티스트들은 환경에서 영감을 받습니다. 주변을 돌아보면서 '와, 여기서 점프하면 어떻게 될까? 굉장하겠지?'라거나 '이 소품을 잡아보고 싶다.'라는 생각을 하게 되죠. 어중간한 그린 스크린에서 작업할 때와는 완전히 다른 방식으로 환경에 반응하고 환경에 둘러싸여 있게 된 겁니다."
88 Rising | Team Wang | Drive Studios | Synapse VP 이미지 제공

스테이지 준비

여러 면에서 버추얼 프로덕션은 고전적인 영화 제작의 본질로 돌아갑니다. 프롭스트는 새로 만들어진 스튜디오가 오즈의 마법사(The Wizard of Oz)의 그림 배경, 북북서로 진로를 돌려라(North by Northwest)의 배경 영사, 스타워즈(Star Wars)의 배경 합성용 그림에서 논리적으로 발전한 것이라고 보고 있습니다. 포스트 프로덕션에서 모든 요소를 하나로 모으는 대신, 촬영 전에 사소한 부분까지 모든 것을 해결할 수 있습니다.
리와 시냅스 비주얼 아트 부서(VAD) 팀은 영상을 촬영하기 전에 일주일 동안 대략적인 편집본에서 잠재적인 문제를 예상하고 극복하면서 크루얼의 종말 후 환경을 구축했습니다. 그다음 주에 촬영이 시작됐고, 촬영 첫날이 끝날 무렵 팀은 완성본의 90% 수준으로 편집을 마쳤습니다.

"예전 방식이라면 포스트 프로덕션에 두 달은 걸렸을 거예요. 합성 영상을 보고, 메모하고, 그런 모든 프로세스를 거친 다음에도 버추얼 프로덕션 스테이지에서 촬영한 것보다 고작 75% 수준에 그쳤을 겁니다."

크루얼의 배경인 폐허가 된 도시를 만들어 내기 위해 리와 그의 팀은 키트배싱 기법을 도입하여 다양한 3D 모델 조각들을 새로운 디자인으로 결합했습니다. 프로덕션 팀은 이 기법에 익숙했는데, VFX 작업의 핵심 요소일 뿐 아니라 기존 방식의 촬영에서도 다양한 장소의 요소나 소품 상점의 소품들로 맞춤형 세트를 만들었기 때문입니다.
88 Rising | Team Wang | Drive Studios | Synapse VP 이미지 제공
하지만, 이번에는 캐릭터, 플러그인, 블루프린트, 애니메이션 등을 포함하여 3D 작업에 사용할 수 있는 방대한 에셋 라이브러리인 언리얼 엔진 마켓플레이스를 활용할 수 있었습니다. 리는 말합니다. "언리얼 엔진 마켓플레이스는 소품, 환경, 불과 대기 같은 요소를 얻을 수 있는 매우 유용한 곳입니다. 마켓플레이스에서 다양한 요소를 찾아 아카이브에 추가하고 그걸 바로 언리얼 엔진으로 가져옵니다. 그리 큰 노력 없이도 이런 요소가 환경에서 멋지게 작동하도록 만들 수 있었습니다. 엄청나게 재미있었어요. 예를 들면, 방을 꾸미고 물건들을 이리저리 옮기면서 바로 만족을 얻는 것과 같죠."

야외 세팅과 불 등의 요소에서 프롭스트는 라이팅을 가장 중요하게 생각했습니다. 거대한 LED 화면의 조명은 숯으로 덮인 연기자들의 얼굴에 기본적인 수준의 노출을 제공했습니다. 한편, 스튜디오 바닥에서는 하얀색 실크 천 조각에 아래에서 조명을 비추면서 팬으로 바람을 불어 넣어 화염을 대신했는데, 이는 디즈니(Disney)의 캐리비안의 해적(Pirates of the Caribbean) 놀이기구에서 차용한 방식으로, 정말 그럴듯했습니다.
88 Rising | Team Wang | Drive Studios | Synapse VP 이미지 제공
프롭스트는 스테이지 조명의 피직스에 대응하기만 하면 됐습니다. 현장의 언리얼 엔진 작업자에게 라이팅 카드를 삽입하라고 요청하여 라이팅의 방향과 밝기, 색상을 바로 조정했습니다. 지난번에 프롭스트가 종말 후 세상을 배경으로 한 뮤직비디오 제작에 참여했을 때는 광원을 만들기 위해 엄청나게 큰 크레인에 장착된 조명 장치가 필요했습니다.
 

LED, 카메라, 액션!

크루얼처럼 모두가 노래하고 춤추는 뮤직비디오를 촬영하려면 복잡한 안무와 그 안무를 보완할 유연한 카메라 이동이 필요합니다. 무너진 도시의 폐허에서 액션이 펼쳐지므로 카메라도 출연자 주변 환경의 규모를 전달해야 했습니다.

시냅스 버추얼 프로덕션의 엔지니어링 팀은 벽의 LED 패널에서 천장 패널로 매끄럽게 전환되는 볼륨 스테이지를 설계했습니다. 그래서 프롭스트는 카메라를 위쪽으로 기울여 비디오의 클라이맥스 순간에 나오는 거대한 원자로 냉각탑의 실제 규모를 보여줄 수 있었습니다.
 
88 Rising | Team Wang | Drive Studios | Synapse VP 이미지 제공
팀은 주저하지 않고 스튜디오의 잠재력을 최대한 활용했습니다. 비디오 오프닝 샷에서 잭슨이 카메라 위에서 뛰어내리고 프롭스트는 빠르게 카메라를 아래로 기울입니다. 댄스 시퀀스의 경우, 리와 프롭스트는 핸드헬드 카메라 촬영을 사용하여 액션을 클로즈업하고 정교한 퍼포먼스를 보여줄 수 있었습니다.
 
88 Rising | Team Wang | Drive Studios | Synapse VP 제공

클라이맥스의 댄스 배틀에서 악마 여왕이 잭슨을 공중으로 높이 들어 올립니다. 기존에는 출연자가 와이어에 매달려야 했지만, 천장까지 7.6m 정도의 버추얼 프로덕션 스테이지에서는 불가능했습니다.

대신에, 리와 팀은 출연자들이 설 수 있는 회전식 턴테이블을 만들었습니다. 핸드헬드 카메라를 사용하여 턴테이블이 회전하는 동안 배우를 촬영하고 언리얼 엔진 작업자는 디지털 환경을 아래로 이동시켜 배우가 공중으로 떠오르는 것처럼 보이게 만들었습니다. 이 효과를 얻기 위해 먼저 턴테이블을 분당 몇 회 회전해야 장면이 사실적으로 보이는지 정확히 계산해야 했습니다. 그런 다음, 이 정보를 바탕으로 거기에 맞게 언리얼 엔진 환경의 움직임을 맞출 수 있었습니다.

이 독특한 솔루션 덕분에 더욱 사실적인 효과를 얻을 수 있었을 뿐 아니라 전체 프로덕션 시간과 비용도 절감할 수 있었습니다. 와이어 장비를 관리할 스턴트 팀을 고용하는 비용을 절감했고 포스트 프로덕션에서 부피가 큰 물품을 페인팅할 필요가 없어졌습니다.
88 Rising | Team Wang | Drive Studios | Synapse VP 이미지 제공

버추얼이 곧 미래

처음의 우려에도 불구하고 잭슨은 버추얼 프로덕션 스테이지의 촬영 과정을 완전히 받아들였고 그 결과에 매우 만족했습니다. "크루얼을 제작한 후 얼마 지나지 않아 잭슨에게 문자 메시지를 받았어요. '작품 하나 더 할까요? 완전히 버추얼 프로덕션으로 비디오 하나 더 찍읍시다.'라고 말이죠. 잭슨은 정말 마음에 들어 했어요."

리의 편집자도 버추얼 프로덕션의 추종자가 됐는데, 사실 그는 크루얼이 버추얼 프로덕션 워크플로를 사용하여 촬영된다는 것을 알지 못했습니다. 자신의 편집자가 이런 기술이나 기능에 대해 거의 모른다는 것을 알기에 리는 그 사실을 말하지 않기로 하고 그냥 하드 드라이브를 건넸습니다. "저에게 전화로 그러더군요. 이걸 다 어떻게 했느냐고, 자신이 뭘 보고 있는 거냐고요. 이미 촬영이 끝났다는 것은 고사하고, 우리에게 이런 비주얼을 만들 돈이 있다는 것조차 상상할 수 없었던 거죠."

크루얼의 큰 성공에 힘입어 잭슨과 프로덕션 팀은 뒤틀린 사이버펑크 카니발을 배경으로 펼쳐지는 싱글 컴 얼라이브(Come Alive)의 비디오를 다시 한번 버추얼 프로덕션 스테이지에서 촬영하게 되었습니다.
 
88 Rising | Team Wang | Drive Studios | Synapse VP 제공

"버추얼 프로덕션은 정말 많은 가능성을 열어주고 있습니다. 제가 보기에 앞으로는 버추얼 프로덕션의 시대가 될 겁니다. 최소한의 리소스로 복잡한 우주선의 조종석을 만든다거나 누군가의 머리 뒤에 있는 72인치 모니터로 축소 버전을 만드는 등의 작업이 가능하기에, 버추얼 프로덕션은 새로운 내러티브 기회를 제시하고 그 기회가 대중화되면서 프로덕션 패러다임의 장벽이 낮아지고 있습니다. 무엇이든 할 수 있는 거죠. 정말 놀랍습니다."

    지금 언리얼 엔진을 다운로드하세요!

    세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
    언리얼 엔진은 모든 기능과 소스 코드 액세스가 포함되어 있어 바로 제작에 사용할 수 있습니다.