라이브 콘서트 AR로 놀라운 결과를 이루어낸 Coachella와 Flume

2022년 5월 12일

올해 코첼라 밸리 뮤직 & 아츠 페스티벌(Coachella Valley Music and Arts Festival)을 YouTube 라이브스트림으로 시청하다 깜짝 놀란 사람이 한둘은 아닐 겁니다. 무대 위로 날아오르는 거대 앵무새부터 관객 위를 떠다니는 황금빛 꽃에 이르기까지, 헤드라이너 플룸(Flume)의 공연은 경이롭고 사이키델릭한 비주얼로 가득했습니다. 팬들은 눈에 보이는 것들이 진짜인지 궁금해했죠.

진짜였을까요? 아닙니다.

코첼라 주최 측은 &풀(&Pull), 식스 디그리즈 오브 프리덤(Six Degrees of Freedom), 올 오브 잇 나우(All of it Now) 소속의 아티스트들과 함께 YouTube 라이브스트림에 방송 퀄리티의 증강현실(AR)을 구현했습니다. 이로써 공연에 리얼타임 3D 비주얼을 더하고자 하는 뮤지션들에게 새로운 시대가 열렸습니다. 하지만 여느 공연과 달리 화면으로만 이 공연을 즐길 수 있었기에 ‘그저 하나의 볼거리’였을 이 라이브스트림이 놓치지 말아야 할 프로그램이 되었죠.

메인 스테이지의 앵무새 제작기

코첼라를 오래 지켜봐 온 사람들에게는 그다지 놀라운 일이 아닐 수도 있습니다. 코첼라는 늘 커다란 이벤트와 함께했습니다. 1999년부터 인기 밴드들의 재결합을 보여주거나, 거대한 설치 미술품을 제작하거나, 투팍(Tupac)을 ‘부활’시키는 등 사람들에게 회자되는 독특한 경험을 제공하기로 유명했습니다. 하지만 올해 코첼라 주최 측은 뭔가 다른 것을 하고자 했습니다.

코첼라의 이노베이션 리드 샘 슈노버(Sam Schoonover)는 말합니다. “목표는 YouTube 라이브스트림을 위한 AR 개념증명을 만드는 것이었습니다. 집에서 시청하는 수백만 명의 관객에게 뭔가 특별하면서도 새로운 것을 제공하고 싶었죠.”

현장 공연이 가장 많은 관심을 받기는 하지만, 코첼라를 집에서 시청하는 관객 수도 증가하고 있죠. 지금은 현장 관객보다 스트리밍 시청자가 수백만 명이나 더 많습니다. 이에 따라 페스티벌 경험이 사실상 두 집단으로 나뉘게 되었습니다. 이 점은 주최 측에게 특별한 과제를 안겨줍니다. 코첼라의 모든 ‘버전’을 특별하게 제작하고, 이 페스티벌에는 뭔가 대단한 것이 있을 것으로 기대하게 만드는 정도의 위상에 부합하려면 어떻게 해야 할까요?

비결은 다름 아닌 실험입니다!

다행히 플룸의 팀은 열정이 가득했습니다.

전설적인 아티스트 조나단 자와다(Jonathan Zawada), 플룸의 크리에이티브 팀, 쇼 디자이너 존 맥과이어(John McGuire)와 협업한 코첼라는 플룸의 기존 투어 비주얼과 뮤직비디오를 바탕으로 하는 AR 디자인에 페스티벌의 모든 에너지와 열기를 불어넣었습니다.

첨단 콘텐츠 제작 파이프라인의 기반으로 언리얼 엔진이 사용되었습니다. 우선 애니메이팅된 모델을 Blender, Cinema 4D, 3ds Max에서 언리얼 엔진으로 임포트하여 팀이 각 비주얼을 테스트하고 공연 전에 현장에서 미세조정하도록 지원했습니다. 승인된 그래픽은 정교한 최종 픽셀 시퀀스로 변환하여 플룸의 라이브스트림 공연에 실시간으로 합성했습니다. 언리얼 엔진에서 실행되는 미디어 서버, StypeLand 컴포짓 플러그인, 실제 방송 카메라 3대에서 들어오는 스타이프(stYpe) 트래킹 데이터 덕분에 가능했습니다.

올 오브 잇 나우의 프로듀서 버토 모라(Berto Mora)는 말합니다. “언리얼 엔진의 셰이더를 사용하여 3D 모델을 현실 치수에 맞게 스케일 조절하고 무대 뒤에서 합성하는 3D 오브젝트 오클루전 시스템을 개발했습니다. 그런 다음 트리거를 만들어 언리얼 엔진에서 밴드의 타임코드에 따라 그래픽을 자동으로 전환했습니다.”

뜻밖의 행운과 놀라운 결과

결과는 놀라웠습니다! 시청자들은 플룸이 코첼라의 메인 스테이지에서 Never Be Like You, Say Nothing, Tiny Cities 등을 부르는 동안 그를 감싸는 다채롭고 사이키델릭한 비주얼에 경탄했습니다. 공연 중에 거대한 앵무새와 초현실적인 꽃들이 등장한 것은 물론, 막간에도 눈길을 사로잡는 볼거리가 있었습니다. 형태가 바뀌는 도넛이 무대에서 튀어 오르거나, 스펙트라 시티(Spectra City)의 무지개 탑이 지면에서 솟아나는 등 콘서트에서 가장 지루하기 마련인 다음 곡을 기다리는 시간에도 관객을 즐겁게 했습니다.

식스 디그리즈의 총괄 프로듀서 후안 산티얀(Juan Santillan)은 말합니다. “뜻밖의 행운도 있었습니다. 저희는 벡(Beck)이 플룸의 무대에 합류한다는 것을 몰랐는데, 꽃 그래픽이 벡을 중심으로 액자처럼 완벽하게 둘러싸서 마치 벡을 위해 준비한 것처럼 보였죠.”

그동안 무대에서는 모든 비디오 피드가 실시간 색 보정을 거쳐 AR 트럭으로 전달되고, 트럭에서는 AR 비주얼을 라이브 방송 피드에 합성했습니다. 언리얼 엔진의 DMX 통합 덕분에 사실적인 합성이 가능했습니다. 모든 버추얼 라이팅을 무대와 동기화하기까지 했습니다. 합성된 비디오 피드는 메인 방송 트럭으로 다시 전송됐고, 그곳에선 플룸의 쇼 디렉터가 AR 카메라로 얻은 최종 결과를 기존 공연에서처럼 실시간 편집했습니다. 그 결과 끊김없고 완벽한 타이밍의 시각적 경험으로 팬들을 음악에 몰입하게 할 수 있었습니다.

코첼라의 라이브 AR 프로듀서 에릭 와글리아도(Eric Wagliardo)는 말합니다. “페스티벌 경험에서는 음악과 분위기에 빠져 자신을 잊을 정도로 완전히 그 순간에 몰입하게 되죠. 저희는 라이브 AR을 통해 집에 있는 팬들을 마법적인 공간으로 초대했습니다. 플룸과 자완다의 초현실적인 상상을 경험하는 곳이자, 90m 크기의 멋진 앵무새가 눈길을 사로잡고 초현실적인 꽃들이 하늘에 떠다니는 곳이었죠.”

콘서트 비주얼의 미래

코첼라의 혁신적인 AR 파이프라인은 플룸의 세트를 넘어, 집에 있는 시청자뿐만 아니라 현실의 팬들도 증강현실 비주얼을 경험하는 미래로 향하는 길을 열었습니다. 슈노버는 회상합니다. “앵무새가 나오자 스트리밍은 어마어마한 관심을 받았습니다. 사람들은 그 새가 진짜인지 CG인지 알 수 없었죠.”

슈노버가 보기에 그때의 급증한 관심도는 라이브 쇼 비주얼의 전환점을 나타냅니다. 메타버스에서 열릴 미래의 하이브리드 이벤트와 페스티벌을 위한 템플릿이 될 수도 있죠.

슈노버는 말합니다. “온라인 시청자 수가 늘어남에 따라 디지털 이벤트에서 고유한 즐길 거리를 선보이는 것이 중요해졌습니다. 하지만 새로운 기술이 현장 경험에 어떻게 영향을 미칠 수 있는지 생각하는 것도 중요합니다. 이 프로젝트를 계기로 팬들이 AR 안경과 가상 세계를 통해 완전히 새로운 차원의 음악을 경험하는 새로운 시대가 열리기를 바랍니다.”

와글리아도는 말합니다. “2D에서 3D로의 전환은 모노에서 스테레오로의 전환만큼이나 혁신적일 것입니다. 그리고 언리얼 엔진은 그 전환을 실현하는 핵심입니다. 언리얼 엔진은 처음부터 끝까지 아이디어를 테스트하고, 콘셉트를 반복작업하고, 코첼라 팬들에게 잊지 못할 경험을 선사하여 새로운 미래의 시작을 알릴 환경을 조성해 주었습니다. 내년에는 얼마나 더 많은 것을 할 수 있을지 기대됩니다.”

확장하는 코첼라버스

AR이 주요 이벤트이기는 했지만, 코첼라 주최 측은 거기서 멈추지 않고 리얼타임 야심을 포트나이트로 넓혀서 집에 있는 팬들에게 코첼라 경험에 참여할 또 다른 방법을 제공했습니다. 인디오(Indio) 트렌드에서 영감을 받은 의상 스타일이 포트나이트 유니버스의 일부가 되었고, 음악에 반응하며 축제의 즐거운 미학을 전하는 새 액세서리도 함께 등장했습니다. 또한 코첼라는 인게임 채널인 아이콘 라디오(Icon Radio) 공식 스테이션을 통해 2022년 코첼라에 참여한 30명이 넘는 아티스트의 음악을 들려주었죠. 코첼라버스에 참여할 기회입니다!

지금 언리얼 엔진을 다운로드하세요!

세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.

지금 시작하기