여러분이 만약 크툴루(Cthulhu)를 마주하게 된다면 어떤 선택을 하게 될까요? 러브, 데스 + 로봇(Love, Death + Robots)의 가장 고어한 단편에 등장하는 히어로들의 답은 간단합니다. 살아남기 위해 뭐든지 하라는 것이죠. 아치형 홀에 파묻힌 무언가(In Vaulted Halls Entombed)는 시즌 3의 8번째 에피소드로, 테러리스트로부터 인질을 구출하는 위험한 임무를 맡은 특수부대 병사들이 지하 깊은 곳으로 내려가게 되면서 러브크래프트(Lovecraft)적인 고대 공포와 마주하는 이야기가 펼쳐집니다.
이 작품의 스토리는 과거 쥬만지(Jumanji)부터 스파이더맨: 파 프롬 홈(Spider-Man: Far From Home)까지 수많은 작품에서 VFX를 구현한 소니 픽처스 이미지웍스(Sony Pictures Imageworks) 팀의 관심을 끌었습니다. 아치형 홀에 파묻힌 무언가의 디렉터 제롬 첸(Jerome Chen)은 말합니다. “러브, 데스 + 로봇에서 정말 흥미진진한 점은 애니메이터에게 창의적으로 탐구할 수 있는 샌드박스가 주어졌다는 사실입니다. 프랜차이즈나 특정 시청자층에 맞출 필요 없이, 원하는 것은 뭐든 할 수 있죠.”
첸의 팀은 그러한 자유에 힘입어 전례 없는 혁신을 시작했습니다. 바로, 수십 년 된 파이프라인을 언리얼 엔진의 리얼타임 렌더링에 맞춘 파이프라인으로 바꾸는 것이었습니다. 소니 픽처스 이미지웍스의 시니어 VFX 프로듀서 더그 오디(Doug Oddy)는 말합니다. “기존 전통적인 워크플로는 리얼타임 환경에 적합하지 않으며 그것으로는 성공할 수 없다는 것을 배웠습니다. 저희가 사용해왔던 기존 파이프라인은 대단히 안정적이고, 강력하고, 믿음직했습니다. 방대한 코드 베이스, 릭, 셰이더, 렌더링 구성을 보유하고 있었죠. 그동안 수많은 디테일을 개선하고 독점 툴을 만들기도 했습니다. 하지만 말 그대로 그걸 다 포기한 겁니다.”
단편이 완성되자 무모하리만큼 엄청났던 그 승부수는 결국 성공했습니다. 45명의 아티스트로 구성된 제작팀은 리얼타임 경험이 전혀 없었음에도 전투, 대화, 신체 절단 FX 애니메이션이 완벽하게 구현된 6명의 사실적인 휴먼 캐릭터, 아프가니스탄의 산악 지형과 크툴루의 동굴이 포함된 4개의 독특한 환경 그리고 크툴루 캐릭터까지 이 모든 것을 불과 4개월 만에 제작할 수 있었습니다. 이 프로젝트를 통해 소니 픽처스 이미지웍스 팀의 제작 방식은 완전히 바뀌었습니다.
리얼타임 여정
단편을 제작하는 첫 단계는 제작팀을 구성하는 것이었습니다. 그래서 소니 픽처스 이미지웍스 아티스트 900명을 대상으로 리얼타임 렌더링에 관심이 있는지 설문 조사를 진행했습니다. 그 중 관심을 표한 사람들과 인터뷰를 하며 프로젝트를 설명했습니다. 첸은 말합니다. “어려운 일이었습니다. 프로젝트를 성공적으로 마친다는 보장이 없었기 때문입니다. 하지만 그 믿음을 전달해야 했죠.”
직원 45명이 모이자, 이들은 오디가 너프(Nerf) 레벨이라고 부르는 것을 만들기 시작했습니다. 바로 단편에 쓰일 월드와 카메라 레이아웃의 기본 빌드였습니다. 그런 다음 ZBrush와 Maya에서 임포트한 에셋과 함께 15분 길이 영화의 스토리보드를 엔진 내에서만 작성하여 각 씬의 윤곽 작업을 했습니다. 히어로 캐릭터 셋을 위해 배우 세 명을 스캔하고, 메타휴먼 크리에이터를 사용하여 일찍 죽는 캐릭터 셋을 생성했습니다. 흥미롭게도 메타휴먼을 리얼타임 단방향 콘텐츠 제작에 통합한 최초 사례로 성공적이었을 뿐 아니라 메타휴먼 크리에이터가 더 발전할 수 있게 해주었습니다. 초기 개발 단계에서 소니 픽처스 이미지웍스가 제공한 인사이트가 큰 도움이 되었습니다.
Love, Death + Robots | Netflix 제공
첸은 말합니다. “메타휴먼은 정말 혁신적인 기술입니다. 캐릭터가 이미 리깅되어 있고 릭이 언리얼 엔진에 딱 맞게 구성되어 있으며, 리얼타임 월드에서 작동하기 때문에 대단히 강력합니다. 크리에이터는 에셋 개발, 캐릭터 스캔, 텍스처 제작, 리깅에 시간을 보낼 필요 없이 곧바로 캐릭터를 구현하고 캐릭터의 움직임을 볼 수 있습니다. 그리고 바로 출연시킬 수 있죠.”
Love, Death + Robots | Netflix 제공
간소화된 프로덕션
레이아웃과 윤곽 작업이 완료되자 애니메이션 단계로 넘어갔습니다. 모션 캡처로 첫 애니메이션 패스를 완료하는 데는 Xsens 슈트를 사용했습니다. 테이크 레코더 덕분에 스테이지 위 연기자들은 자신의 움직임이 언리얼 엔진 환경 속 캐릭터와 연결되는 것을 볼 수 있어 세트에서의 최종 샷이 어떨지 상상할 필요가 없었습니다. 따라서 보다 라이브 액션 영화에 가까운 방식으로 제작이 이루어졌고, 즉석에서 의사 결정이 가능했습니다.
이 단편의 에셋 및 리얼타임 수퍼바이저 제러미 시코르스키(Jeremy Sikorski)는 말합니다. “대부분의 경우 시퀀스를 완전히 정의하지 않은 채 촬영에 들어갔습니다. 정확히 어떻게 하고 싶은지는 몰라도 필요한 전반적인 동작은 알고 있었죠. 그러면 언리얼 엔진의 시퀀서를 사용해서 여러 테이크 중에서 쉽게 선택할 수 있었습니다. 연기가 알맞지 않으면 다시 렌더링된 샷을 요청하고 기다릴 필요 없이 다른 옵션을 둘러보고 찾으면 되었죠.”
오디에게는 이런 변경이 가능하기에 재작업 때문에 프로젝트가 지연될 걱정 없이 팀이 더 빠르게, 더 많이 협업하면서 일할 수 있었습니다. 오디는 말합니다. “기존 파이프라인에서는 프로덕션을 진행할수록 쌓이는 것이 많았기 때문에 파이프라인의 맨 처음으로 되돌아 가지 않고는 샷을 수정하기가 어려웠습니다. 하지만 리얼타임 환경에서는 그럴 필요가 없죠. 실시간으로 작업하기만 하면 되니까요. 더 적은 인원으로도 계속해서 새로운 아이디어들을 개발할 수 있습니다. 완성 직전에 영화를 수정하는 것도 전혀 문제없죠.”
모션 캡처 애니메이션 패스가 완료되면, 그 결과를 Maya에서 수정한 뒤 FBX 릭 데이터를 언리얼 엔진으로 돌려보냈습니다. 그런 다음 언리얼 엔진에서 최소한의 포스트 프로덕션 작업만으로 전체 최종 픽셀 렌더링을 완료했습니다.
Love, Death + Robots | Netflix 제공
시코르스키는 말합니다. “언리얼 엔진은 아이디어를 재미없는 회색 렌더 대신 완성된 형태로 시각화해 줍니다. 결국 무비 렌더 큐로 최종 렌더링된 프레임이 뷰포트에서 보이는 것과 아주 유사하다는 뜻이죠. 모션 블러도 정확하고요. 포스트 프로세싱은 아주 직관적이었습니다. 특정 샷에는 기본적으로 필름 그레인과 렌즈 플레어를 추가했고, 터널 속 벌레나 폭발하는 크리처 이펙트 등은 모두 렌더에 있었습니다. 아무것도 추가할 필요가 없었죠.”
소통 장벽 해소
아치형 홀에 파묻힌 무언가 제작 팀은 리얼타임 워크플로를 도입하여 현장 프로덕션과 포스트 프로덕션을 간소화했을 뿐 아니라 아티스트 중심의 창작 작업도 활발히 이루어지게 되었습니다. 소니 픽처스 이미지웍스 부서 간의 소통 장벽이 즉시 해소되었기 때문입니다. 아티스트들은 몇 시간 동안 렌더링을 기다릴 필요 없이 시퀀스를 바로 재생해서 확인하고, 다른 부서를 기다릴 필요 없이도 조정할 수 있었습니다. 따라서 한 사람이 여러 역할을 수행하며 애니메이션에서부터 라이팅까지 모든 것을 다듬는 작업을 동일한 플랫폼에서 수행할 수 있었던 것이죠.
시코르스키는 말합니다. “모든 사람에게 언리얼 엔진을 꼭 사용해 보라고 권하고 싶습니다. 언리얼 엔진을 사용하면 며칠이나 몇 주 만에 고퀄리티 스토리를 완성할 수 있습니다. 첫 비주얼을 보기까지 몇 달에서 몇 년을 기다리는 데 익숙했지만, 이번 변화는 앞으로 모든 것을 제작하는 방식을 뒤바꿔 놓을 겁니다. 25년 동안 사용해 온 파이프라인을 다시 생각하게 되었죠. 언리얼 엔진과 리얼타임 렌더링이 앞으로의 작업에서도 중요할 것으로 확신하기 때문입니다. 이로써 영화 제작자와 CG 아티스트의 역사에서 황금기가 시작되리라고 봅니다. 더 빠르게, 더 창의적으로 샷을 제작할 수 있으니 디지털 공간에서 영화 제작의 민주화가 이루어질 겁니다.”