버추얼 프로덕션 기반 축구 광고를 통해 시청자에게 놀라움을 선사하는 Pixomondo

할리우드의 황금기를 돌이켜 보면, 씬에 군중이 필요한 경우 실제 배우들을 데려와야 했습니다. 예를 들어 벤허(Ben Hur)의 유명한 전차 경주 씬에는 경기장을 가득 메운 채 함성을 지르는 8,000명의 엑스트라가 등장합니다. 글래디에이터(Gladiator)가 개봉할 당시에는 CG를 사용하여 콜로세움을 가득 채울 수 있었습니다. 벤허의 방식은 비용이 많이 들고 한곳에 모이는 데 큰 수고가 들며, 글래디에이터의 방식은 디지털 아티스트의 많은 업무량을 요구합니다.

광고 촬영 같은 경우에는 예산이 벤허보다 적습니다. 따라서 대형 경기장을 대여하고 수백 또는 수천 명의 엑스트라를 섭외하는 것을 고려할 수는 없습니다. 포스트 프로덕션에서 수십 시간을 할애하는 옵션이 있긴 하지만 딱히 고무적인 방법은 아닙니다.

다행히도, 이제는 최소한의 시간과 비용을 들여 실제와 구분하기 힘들 정도의 CG 군중을 만들 수 있는 방법이 있습니다.

케일던 FC(Caledon Football Club)의 최근 광고에서 픽소몬도(Pixomondo, PXO), 얼터 에고(alter ego), 윌리엄 F. 화이트 인터내셔널(William F. White International, WFW), 버추얼 프로덕션 아카데미(Virtual Production Academy, VPA)는 LED 볼륨과 버추얼 프로덕션 워크플로를 통해 비용은 낮추면서도 높은 퀄리티를 유지한 방법을 보여 주었습니다.
 

화이트슨은 말합니다. “제가 알기로는 이 광고 이전에 LED 스테이지에서 슬로우 모션을 달성한 사례가 없습니다. 48FPS와 같이 높은 프레임 레이트로 실행되는 LED 월에서 촬영하면 인카메라에서 스캔라인이 보일 가능성이 더욱 높아집니다. 하지만 이러한 현상은 LED 패널, 카메라, 카메라의 움직임에 따라 달라지기도 합니다. 최고의 결과를 얻기 위해 LED 월이 24FPS 또는 48FPS로 실행되는 동안 세 개의 서로 다른 카메라를 다양한 프레임 레이트에서 시험해 보았습니다.”

최종적으로 팀은 200FPS로 구동 가능하고 최소한의 깜빡임을 만들어 내는 알렉사 미니(Alexa Mini)를 사용하기로 결정했습니다. 화이트슨은 말합니다. “센서 내에서 크롭 작업을 수반하지 않아도 되는 카메라는 팬텀(Phantom)이 유일합니다. 200FPS에서 그치지 않고, 800FPS로 더 내려야 했습니다.”

깜빡임과 더불어, 팀은 군중 시뮬레이션 또한 기본 프레임 레이트인 24FPS보다 더 느리게 실행해야 한다는 것을 알게 되었습니다. 첫 번째 시험 촬영을 완료한 후, 군중의 움직임에 200FPS 카메라 속도를 감당할 정보가 충분하지 않다는 것이 확실해지자 팀은 다양한 속도의 CG 관중 베리에이션을 사전에 제작했습니다. 촬영한 프레임 레이트에 따라 언제든지 이 애니메이션 중 하나를 즉시 활성화하면 됐습니다.

화이트슨은 말합니다. “버튼 하나로 다양한 에셋을 로드할 수 있다는 것이 언리얼 엔진의 큰 장점입니다.”

영화와 TV를 위한 디지털 3D 군중

컴포지터로서 화이트슨은 대형 경기장을 가득 채울 3D 관중을 복제하거나 생성해 달라는 요청을 자주 받습니다. 그는 이러한 작업이 까다롭고 시간도 많이 소요된다고 말합니다. “언제나 고된 작업입니다. 트래킹, 키잉, 로토스코핑, 촬영 요소 복제, 환경에 블렌드하는 등의 작업을 일년에 네다섯 차례 요청 받곤 합니다.”

얼터 에고 팀은 군중을 생성하는 데 동반되는 막대한 후속 작업 없이 스토리텔링의 자유와 창의성을 가져다주는 비용 효율적인 솔루션을 클라이언트에게 제공하고자 했습니다.

이러한 이유로 PXO와 협력하게 되었습니다. 수상 이력을 보유한 비주얼 이펙트 및 버추얼 프로덕션 회사 PXO는 올해 초 HBO 시리즈 위닝 타임: 더 라이즈 오브 더 레이커스 다이내스티(Winning Time: The Rise of the Lakers Dynasty)를 위해 700개가 넘는 VFX 샷을 완성했습니다.

짐작이 가시겠지만 이러한 작업의 90%는 CG 경기장 및 군중 시뮬레이션과 관련된 것이었습니다. PXO 팀은 3D 군중을 생성하는 더 빠르고 효율적인 방법을 찾을 필요가 있다는 것을 깨달았습니다. 영화 및 TV 업계에서 '더 빠르고 효율적인' 것은 게임 엔진 기술의 사용을 의미하는 경우가 많습니다. 그래서 팀은 언리얼 엔진에서 실시간으로 실행 가능하며 LED 볼륨에서도 사용할 수 있는 유연한 군중 툴을 개발했습니다.

케일던 FC 광고를 작업할 기회를 얻게 되었을 때 얼터 에고와 PXO는 이 새로운 툴을 테스트하고 한계까지 밀어붙여야 한다는 것을 알았습니다.

PXO의 최고 혁신 책임자이자 최고 크리에이티브 책임자인 마흐무드 라흐나마(Mahmoud Rahnama)는 말합니다. “PXO와 얼터 에고는 여러 광고 프로젝트에서 협업했습니다. PXO가 HBO의 위닝 타임 첫 시즌을 마무리한 후, 저는 데이비드에게 전통적인 방식으로 VFX 군중 시퀀스를 생성하는 데 난관이 있다고 말했습니다. 데이비드는 저에게 LED 월에서 높은 프레임 레이트로 촬영하는 데 어려움이 있다고 이야기했죠. 바로 이 순간 저희는 각각의 목표를 동시에 이루자고 결심했습니다!”
 

PXO 군중 시스템은 엔진에서 효율적인 스태틱 메시 인스턴싱을 활용하여 작동합니다. 모든 애니메이션은 본 애니메이션 텍스처를 사용하여 버텍스 셰이더에서 이루어집니다. 이 시스템은 두 부분으로 구성됩니다. 바로 본 애니메이션 텍스처 베이킹과 더불어 모델 및 애니메이션 프로세싱을 위한 Houdini 툴세트, 그리고 크라우드 인스턴스를 생성하고 제어하기 위해 C++로 쓰인 언리얼 엔진 플러그인입니다.

군중이 하나가 되어 움직여야 하는 순간을 위해 시스템은 군중의 다양한 감정을 트리거하는 기능을 지원합니다. 군중 속의 개인에게 사용할 수 있는 100가지 이상의 애니메이션 클립이 있어서 군중 전체를 대상으로 애니메이션을 활성화하거나 한 명에게만 적용할 수도 있습니다. 또한 시스템은 애니메이션 스테이트 간의 원활한 블렌딩을 지원합니다.

화이트슨은 말합니다. “큐에 따라 필요한 대로 정확히 연기하도록 군중을 제어할 수 있는 기능은 정말 굉장합니다. 필드 위에서 펼쳐지는 경기에 따라 사용하기 위해 7가지의 군중 퍼포먼스를 사전에 애니메이팅했습니다. 군중이 응원하길 원할 때에는 이에 해당하는 에셋을 로딩하기만 하면 됐습니다. 이와 마찬가지로, 군중이 자리에 가만히 앉아서 차분하게 있도록 하려면 사전에 애니메이팅한 시뮬레이션을 사용했습니다. 실제 사람이 큐에 따라 다 같이 연기하도록 이끄는 것보다 훨씬 수월했습니다.”
 

LED 월의 등장 이전에는 얼터 에고가 케일던 FC 광고와 같은 프로젝트를 진행하기 위해 50~100명의 사람을 실제 경기장에 데려와 섹션마다 이동하며 촬영한 후 포스트 프로덕션에서 한데 합쳐야 했습니다.

또는 CG로 군중을 생성하고, 영상을 트래킹하고, 전경 에셋을 로토스코핑한 다음 라이팅과 애트머스피어를 일치시켜 하나로 통합해야 했습니다. 화이트슨은 말합니다. “이 두 가지 방법 중 하나로 CG 군중을 만들어야 한다면, 촬영하기 전에 CG 군중을 만들고 언리얼 엔진을 사용하여 LED 월에서 실시간으로 애니메이팅하는 것이 훨씬 낫습니다.”

이렇게 하면 팀은 카메라를 자유롭게 움직일 수 있습니다. 카메라로 포착하는 모든 것이 최종 픽셀이기 때문입니다. 게다가 현실과 LED 월의 환경 사이의 블렌딩은 포스트 프로덕션으로 나온 결과물과는 비교도 되지 않습니다.

화이트슨은 말합니다. “언리얼 환경 속 경기장의 조명은 렌즈에서 실제 경기장 조명처럼 반응했습니다. 카메라로 촬영한 선수들의 주변을 감싼 보케와 라이트는 마치 실제 경기장에 있는 것과 같은 사실감을 더해 주었습니다. 다시 한번 말하지만 이런 것들은 포스트 프로덕션에서 복제하기 힘들고 많은 시간이 소요됩니다.”

채드윅은 LED 스크린으로 작업하는 것이 기존의 기법과 비교하여 엄청난 시간을 절약하게 해준다는 점을 지적했습니다. “LED 볼륨에서 이와 같은 프로젝트를 촬영할 때 얻을 수 있는 대표적인 이점 중 하나는 작업 속도입니다. 실제 경기장에서 이 광고를 촬영한다고 가정해 보면 비용이 많이 들 뿐만 아니라 각 테이크마다 리셋하는 데 많은 시간이 걸릴 것입니다. 언리얼의 리얼타임 렌더 기능을 활용함으로써 한 번의 버튼 클릭만으로 리셋할 수 있었습니다.”

불가능한 촬영을 가능하게 하는 LED 스테이지

화이트슨은 에이전시와 프로덕션 회사가 버추얼 프로덕션 기술과 LED 볼륨에 기대를 걸 이유가 충분하다고 예상합니다.

그는 팀이 현재 언리얼 엔진과 LED 월이 없다면 불가능할 만한 프로젝트를 현재 진행하고 있다고 설명합니다. 스토리상 배경이 되는 계절이 겨울인데 팀은 9월에 촬영을 하고 있습니다. 이때 생각할 수 있는 선택지는 4개가 있습니다.

첫 번째는 현재 겨울인 장소로 멀리 떠나는 것입니다. 매우 값비싼 선택지입니다.

또는 여름이 끝나가는 무렵에 지역 스키 리조트에서 촬영한 다음 포스트 프로덕션에서 전체 배경을 대체할 수도 있습니다. 이렇게 하려면 비용이 많이 들고 포스트 프로덕션에서 많은 시간이 소요됩니다.

세 번째 선택지는 스튜디오 내 블루 스크린에서 촬영하는 것입니다. 화이트슨은 말합니다. “이 방법을 사용하면 스튜디오 라이팅과 3D 포스트 환경을 다뤄야 하며 통합한 결과물이 완벽하지 않습니다. 더불어 납품 일정상 포스트 작업에 매진할 시간이 많지 않죠.”

마지막 선택지는 촬영하기 전에 언리얼 엔진과 LED 스테이지를 활용하여 환경을 제작하는 것입니다. 화이트슨은 말합니다. “저희는 이 마지막 옵션으로 최고의 결과를 달성했습니다. LED 월은 밝기 면에서 매우 강력하여 라이팅에서 좋은 결과를 얻을 수 있습니다.”

“그뿐 아니라 그 어떤 컴포지팅보다도 출연자와 배경 사이의 통합이 한층 우수합니다. 애트머스피어를 사용하거나 세트에 눈이 내리게 할 수도 있습니다. 블루 스크린 환경에서는 불가능한 일이죠. 내리는 눈의 키잉을 시도해 본 적이 있나요? 상상한 만큼 어려운 작업입니다. 예산과 기간을 고려할 때, LED 월이 가장 현명한 방법이었습니다.”