2019년 5월 8일
버추얼 프로덕션: Stiller Studios의 모션 컨트롤 및 리얼타임 프리뷰
fxguide의 공동설립자 마이크 시모어(Mike Seymour)가 진행하는 이 팟캐스트에서 포스버그는 어떻게 스틸러 스튜디오가 전통 제작 방식을 추구하는 감독들이 “뉴스쿨(차세대)” 환경에서 일하는 데 도움이 되고, 어떻게 CG 영상과 완벽하게 일치하는 라이브 액션 영상을 실시간으로 세트장에서 볼 수 있는지 설명합니다. 아래의 전체 팟캐스트를 듣거나 개요를 읽어보세요.
스틸러 스튜디오는 가상 및 실제 카메라의 위치와 경로를 완벽하게 일치시키고, 사용 가능한 데이터로 실시간으로 출력해야 하는 복잡한 모션 컨트롤 작업에 주력합니다. 하지만 이 모든 것이 어떻게 시작되었을까요?
초창기에 포스버그는 완벽한 그린 스크린 장면을 찍는데 많은 어려움을 겪었습니다. 그는 런던에 위치한 마크 로버츠 모션 컨트롤(Mark Roberts Motion Control)에서 카메라를 1-2m정도 이동시킬 수 있는 소형 로봇을 구입할 예정이었으나, 공중으로 최대 6m까지 도달할 수 있는, 4.6톤에 이르는 사이클로프스(Cyclops) 모션 컨트롤 리그와 함께 돌아왔습니다.
“제 바로 뒤에 거대한 짐승만한 로봇이 세워져 있었는데 전략적으로 배치해 놓은 것 같습니다. 그 앞에 서면 나이와 상관없이 언제나 어린 소년으로 돌아간 것만 같기 때문이죠.”라고 포스버그는 웃으며 말합니다. “결국 4.6톤에 이르는 그 장비를 가지고 돌아왔습니다.”
사이클로프스가 스튜디오에 설치되었을 때, 처음에는 Autodesk 제품과 연동되었습니다. 하지만 최근 5-6년 동안 스틸러 스튜디오는 리얼타임 엔진으로 작업을 시작했고, 현재는 모션 컨트롤 데이터가 언리얼 엔진으로 직접 전송됩니다. “6m의 크레인이 달린 16m 되는 트랙에 있는 것과 같지만 FBX, 카메라 위치, 렌즈 데이터 등을 모두 전송하여 언리얼 엔진에서 라이브 믹스할 수 있습니다”라고 포스버그는 말합니다. “컴퓨터에서 제작한 이미지 위에 라이브 액션을 완벽하게 일치시켜서 볼 수 있습니다. 이는 감독이 전체적인 그림을 화면으로 확인할 수 있는 방법으로 빛의 방향, 섀도 그리고 모든 요소와의 상호작용이 포함됩니다.”
리얼타임 세트장 리뷰
그 전체적인 그림을 보기 위해 감독들은 아이패드(iPad)를 받아 가상 세트장을 걸어다니며 UE4에서 완전히 렌더링된 것을 볼 수 있습니다. 심지어 아이패드를 가상 카메라로 사용하여 사이클로프스에 장착된 실제 카메라로 정확하게 반복할 수 있는 카메라 경로를 기록할 수 있습니다. “감독 또는 촬영감독이 세트장에서 [아이패드를] 움직이면 카메라가 어떻게 움직일 것인지 정확히 알게 되고 단 몇 초 만에 4.6톤의 장비가 똑같은 움직임을 재현합니다.”라고 포스버그는 설명합니다. “11년 동안 이 작업을 해 왔지만 지금 봐도 여전히 멋집니다.”이 반복성은 스튜디오에서 보다 복잡한 장면을 촬영할 수 있는 핵심 요소로써, 수상작인 빅토르 페레즈(Victor Perez)의 단편 영상인 에코(Echo)를 촬영하는 데 큰 효과를 발휘하기도 했습니다. 이 단편 영상만의 독특성을 살려준 불릿 타임 같은 거울 시퀀스는 동일한 세트의 다른 관점에서 동일한 피사체를 촬영한 다음 통합해야 했습니다. 이를 위해 스틸러 스튜디오는 사이클로프스와 함께 두 번째 초고속 모션 컨트롤 릭인 볼트(Bolt)를 채용했습니다.
“불릿 타임을 일종의 3D 뎁스로 나눕니다. 즉, 한 카메라는 라이브 액션을 촬영하고 다른 카메라는 불릿 타임을 촬영하다가 카메라 간에 뎁스를 바꿔서 촬영하기를 반복합니다.”라고 포스버그는 설명합니다. “그럼 타임 레이어 중에 한 레이어는 지연되는데 한 프레임 내에서만 가능한 이유는 모션 컨트롤 때문입니다. 왜냐하면 시간과 카메라 속도가 카메라 사이에서 끊임없이 상호 교체되도록 프로그래밍하고 궁극적으로 다시 통합할 수 있기 때문입니다.”
디지털 더블: UE4에서 재창조된 기술적인 설정
스틸러 스튜디오는 두 대의 카메라 리그 외에도 최대 1톤까지 수용할 수 있는 컴퓨터 제어식 액터용 모션 베이스도 갖추고 있습니다. 모션 베이스는 헬리콥터 또는 비행기 안에 있는 라이브 액터나 실제 사람이 CG 크리쳐를 타는 움직임을 시뮬레이션하는 데 유용합니다. 이런 촬영을 위해 UE4는 엔진의 리그와 카메라의 디지털 더블을 사용하여 설정의 기술적인 측면을 시각화하는 데도 사용됩니다.“우리에게 언리얼 엔진은 테크비즈이자 온세트비즈이며 프리비즈 툴입니다.”라고 포스버그는 말합니다. “날아다니는 자동차나 양탄자를 언리얼 엔진에 넣으면 실시간으로 실험해 볼 수 있습니다. 모델 무버의 축소판이 있어 6축 조이스틱처럼 실험해 보며 움직여볼 수 있는데, 언리얼 안에서도 이 움직임을 실시간으로 볼 수 있습니다.”
한편 이 고도로 발전된 설정은 진지한 작업을 위한 것이지만 스틸러 스튜디오 제작팀은 가끔 재밌는 시간을 갖기도 합니다.
“이것은 세계 최고의 장난감 중에 하나입니다.”라고 포스버그는 말합니다. “금요일 밤에 모션 베이스 위에 앉아서 F16이나 다른 전투기를 조종할 수도 있죠. 언리얼 엔진과 연동시키면 세계 최대의 비행 시뮬레이터를 가진 것만 같습니다. 대형 항공사 등에 사용되는 것과 동일한 기술력이지만 필름 시스템 또는 카메라 시스템에 연동시켜 놓는 것이죠.”
디지털 더블을 가진건 리그와 카메라뿐만이 아닙니다. 스틸러 스튜디오는 약 30개의 RGB LCD 라이트의 가상 복사본을 만들었습니다. 포스버그는 이에 대해, “우리는 3D와 라이브 액션을 일치시킬 수 있는데, 촬영 감독들과 감독들이 어떤 결과물이 나올지 예상하는 데 많은 도움이 되죠.”라고 평합니다.
후반 작업에 넘겨지는 완벽하게 일치된 결과물
어떤 프로젝트에서는 실시간 결과물이 최종 픽셀로 사용되지만, 그외에 많은 프로젝트는 세트장에서 장면을 완벽하게 촬영하는 데 집중되어 있고 전통적인 VFX 포스트 프로덕션 파이프라인에서 수행해야 할 작업이 여전히 많습니다. 애셋을 마지막 단계로 유용하게 전환되도록 하는 것이 매우 중요하고, 완벽한 일치도 중요합니다.
“모션 컨트롤에 카메라를 달고, 언리얼에서 FBX를 가져왔다고 합시다.”라고 포스버그는 말합니다. “모션 캡처 시스템을 이용해 가상 액터와도 촬영할 수도 있을 것입니다. 우리는 완벽하게 일치하는 파일들을 전달하여 아티스트가 아티스트로서 작업물을 더욱 아름답게 보정하는 역할을 다할 수 있도록 한다는 점을 자랑스럽게 생각합니다.”
더 큰 창조적인 자유
스틸러 스튜디오의 작업 방식이 주는 혜택 중에는 실제로 세트장에서 최종 촬영을 시각화할 수 있기 때문에 크리에이티브들은 실험해 볼 수 있고, 액터들은 더 자발적일 수 있게 해줍니다.
“이는 크리에이티브들을 더 용감하게 만들어 주는데, 예전에는 후반 과정에서 확실하게 활용될 영상만 촬영했기 때문에 이런 변화는 영화에 유익합니다.”라고 포스버그가 말합니다. “이제는 실시간 피드백을 받기 때문에 실험을 실제로 해볼 수 있고 한계에 도전할 수 있죠.”
“저에게 장면은 그 안에 있는 액터보다 더 많은 것을 의미합니다. 장면은 액터가 구도와 상호작용하는 방식으로, 이 또한 세트장에서 결정할 수 있습니다. VFX 작업자가 있어야하는 가장 중요한 장소 중에 한 곳은 세트장인데, 바로 거기서 결정을 내리고 올바른 일을 하려고 하기 때문이죠.”
도전을 즐기기
스틸러 스튜디오가 이 모든 복잡한 엔지니어링을 통합하는 것을 쉽고 유동적으로 보이게 하지만, 이것은 결코 쉬운 일이 아닙니다. 예를 들어, 장비를 보정하는 것에 대해 포스버그는, “한 기술자에게 계산을 해보도록 했더니 이 작업을 잘못하는 방법은 천오백만 가지가 넘지만 제대로 된 방법은 단 하나라고 말해줬죠.”라고 말했습니다.하지만 포스버그는 이 도전에 대한 열정을 잃을 기미를 보이지 않습니다. “11년 동안 작업해 왔지만, 여전히 매일 놀이터에 가는 것 같습니다.”라고 끝맺음을 했습니다.
패트릭 포스버그와의 팟캐스트 인터뷰는 비주얼 디스럽터 시리즈의 일부입니다. 더 많은 팟캐스트, 영상, 기사 그리고 인사이트를 보시려면 버추얼 프로덕션 허브를 방문해 주세요.