Aaron Sims Creative 이미지 제공
언리얼 엔진 5 얼리 액세스로 리얼타임 영화 제작의 가능성을 탐구한 디 아이: 칼란텍
2021년 11월 3일
애런 심즈 크리에이티브(Aaron Sims Creative, ASC)의 소규모 아티스트 팀이 언리얼 엔진 5 얼리 액세스와 메타휴먼 크리에이터로 손에 땀을 쥐게 만드는 불가사의한 단편 영화 디 아이: 칼란텍(THE EYE: CALANTHEK)을 단 6주 만에 완성했습니다. 이 영화는 포트나이트와 포트나이트의 할로윈 테마 이벤트 포트나이트의 악몽의 가상 단편 영화 축제, ‘포트나이트의 악몽 쇼트나이트'에서 10월 28일 최초 공개되었습니다.
이 영화는 먼 행성에 있는 드론을 수리하기 위해 호출된 은하계의 정비사 발렌티나(Valentina, 최초의 여자 우주 비행사 Valentina Tereshkova에서 차용)의 이야기입니다. 행성에 도착한 그녀는 적대적인 외계인과 탈출을 막는 수상한 세력을 맞닥뜨리게 됩니다.
이 영화는 먼 행성에 있는 드론을 수리하기 위해 호출된 은하계의 정비사 발렌티나(Valentina, 최초의 여자 우주 비행사 Valentina Tereshkova에서 차용)의 이야기입니다. 행성에 도착한 그녀는 적대적인 외계인과 탈출을 막는 수상한 세력을 맞닥뜨리게 됩니다.
애런 심즈 크리에이티브는 프로젝트를 위해 외계인 테우티산(Teuthisan, ‘오징어’라는 뜻의 고대 그리스어에서 차용)을 제작했습니다. 테우티산은 현재 무료로 다운로드할 수 있으며 언리얼 엔진 5 얼리 액세스에서 자유롭게 활용할 수 있습니다.
Aaron Sims Creative 이미지 제공
라이브 액션에서 풀 CG로의 전환
이 영화는 초기에 LED 스테이지에서 버추얼 프로덕션 기법을 이용하여 라이브 액션을 촬영할 예정이었습니다. 하지만 예상치 못한 상황이 발생하였고 크리에이터들은 풀 CG 프로덕션으로 방향을 바꿀 수밖에 없었습니다. 제작 기법의 변화로 인해 야심 차게 세웠던 일정에 차질이 생기면서 팀은 앞으로의 제작 방향을 신중하게 정해야 했습니다.일정이 단축되면 새로운 에셋을 만들 시간에도 제한이 생길 수밖에 없습니다. 라이브 액션 프로젝트를 위해 만들어 놓은 외계인을 새로운 플롯에 통합해야 할 상황이었죠.
이 영화의 감독을 맡은 유명 크리처 디자이너 겸 ASC의 창립자 애런 심즈(Aaron Sims)는 작가 겸 발렌티나의 성우를 맡은 비비안 윤(Vivian Yoon)과 힘을 합쳐 이 제약을 극복할 콘셉트를 만들기 시작했습니다. 비비안이 합류했을 땐 우주선과 배경을 이미 구축한 상태였습니다. 터보스퀴드(TurboSquid)의 에셋을 언리얼 엔진에 포함된 퀵셀 메가스캔과 함께 사용한 것이죠. 언리얼 엔진 5에서는 퀵셀 브리지가 언리얼 에디터에 통합된 덕분에, 메가스캔 에셋을 프로젝트에 바로 드래그 앤 드롭할 수 있습니다.
Aaron Sims Creative 이미지 제공
비비안은 말합니다. “모든 스토리 아이디어는 이 에셋들을 사용하며 그것을 중심으로 만들어진 것입니다. 궁지에 몰렸을 때 이를 극복하기 위한 방법을 찾아내고, 창의적인 새 아이디어를 생각해내는 것이야말로 굉장한 일이라고 애런과 이야기했죠. 처음에는 ‘어떻게 하면 충격적인 결말을 만들 수 있을까?’라는 질문에서 시작했습니다. 질문에 대한 답을 찾은 뒤에는 응집력 있는 이야기를 만들기 위해 대본을 수정하기에 이르렀죠.”
애런은 말합니다. “메타휴먼 크리에이터가 없었으면 프로젝트에 인간 캐릭터를 등장시키지 못했을 겁니다. 덕분에 훨씬 손쉽게 발렌티나를 완성할 수 있었죠. 메타휴먼 크리에이터가 없던 시절에는 제한된 시간 안에 이런 캐릭터를 처음부터 만드는 것 자체가 불가능했을 겁니다.”
발렌티나의 우주복과 헬멧은 마야(Maya)로 제작했습니다.발렌티나의 입을 헬멧으로 가린 덕분에 립싱크 작업에 많은 시간을 들이지 않고 촉박한 일정에 맞출 수 있었습니다.
메타휴먼 크리에이터로 영화의 여주인공 만들기
하지만 아직 캐릭터 하나가 더 필요했습니다. 발렌티나는 원래 실제 배우가 연기할 예정이었죠. 최근까지도 그럴듯한 디지털 휴먼을 제작하려면 몇 주에서 몇 달은 걸리는 것이 보통이었습니다. 하지만 애런과 그의 팀에게는 누구나 한 시간 안에 디지털 휴먼을 만들 수 있는 메타휴먼 크리에이터가 있었습니다.애런은 말합니다. “메타휴먼 크리에이터가 없었으면 프로젝트에 인간 캐릭터를 등장시키지 못했을 겁니다. 덕분에 훨씬 손쉽게 발렌티나를 완성할 수 있었죠. 메타휴먼 크리에이터가 없던 시절에는 제한된 시간 안에 이런 캐릭터를 처음부터 만드는 것 자체가 불가능했을 겁니다.”
발렌티나의 우주복과 헬멧은 마야(Maya)로 제작했습니다.발렌티나의 입을 헬멧으로 가린 덕분에 립싱크 작업에 많은 시간을 들이지 않고 촉박한 일정에 맞출 수 있었습니다.
Aaron Sims Creative 이미지 제공
시작부터 비주얼 및 스토리를 결정하는 데 도움을 준 고퀄리티 프리비즈
캐릭터 애니메이션을 구상하기 위해 애런과 모션 캡처 배우 크리스토퍼 그레이엄(Christopher Graham)은 엑스센스(Xsens) 슈트 및 스트레치센스(StretchSense) 글러브를 이용하여 집에서 편안하게 발렌티나와 외계인의 모션 캡처를 진행했습니다. 두 사람은 라이브 링크를 통해 샷을 실시간으로 미리 볼 수 있었습니다.애런은 말합니다. “캐릭터의 퍼포먼스를 구상하기 위해 키프레임 애니메이션을 진행할 필요가 없어지자 제작 속도가 빨라졌습니다. 덕분에 개념 증명을 빠르게 진행할 수 있었죠.”
팀은 아이디어를 추가로 검증하기 위해 프로덕션 초반부터 고퀄리티 프리비즈를 제작했습니다. 비비안은 말합니다. “처음부터 최종 제품이나 다름없는 결과물이 나오자 다들 흥분을 감출 수 없었죠. 거기서부터 스토리를 구체화했습니다.”
애런은 언리얼의 중요성을 계속 설명합니다. 애런은 말합니다. “언리얼 엔진으로 영화를 제작하려면 그 한계도 알아야 합니다. 저는 위험을 감수하는 것을 좋아합니다. 어떠한 일이 있어도 해낼 수 있다고 생각해요. 난관에 부딪히면 기존 방법을 벗어날 겁니다. 소프트웨어 덕분에 빠르게 태세를 전환할 수 있죠. 많은 사람이 그레이 렌더링이나 아주 기초적인 프리비즈를 진행하는 반면, 저희 프리비즈는 최종 제품과 가깝기 때문에 초반에 결정하기 어려운 창작 의사 결정도 바로 가능합니다. 따라서 스토리를 훨씬 유연하게 수정하고 다듬을 수 있죠.”
페이셜 애니메이션은 언리얼 엔진에서 사용하기 위해 메타휴먼마다 포함된 메타휴먼 페이셜 릭을 사용하여 키프레이밍 했습니다. 입이 가려져 있기 때문에 눈동자 표현으로 대부분의 감정을 설득력 있게 전달해야 했죠.
최종 프레임은 언리얼 엔진 5에서 전부 렌더링했습니다. 단, 먼지와 파티클, 스카이, 클라우드, 연기와 같이 마지막으로 추가하는 앰비언트 이펙트의 경우, 언리얼 엔진 마켓플레이스의 에셋을 사용했습니다.
언리얼 엔진 5 얼리 액세스로 최종 픽셀 제작하기
초기에 만든 모션 캡처 데이터의 상당수가 최종 영상에도 사용되었습니다. 이 데이터를 언리얼 엔진 5의 캐릭터에 전송한 뒤, 키프레임 애니메이션을 그 위에 레이어링할 수 있도록 커스터마이징한 컨트롤 릭을 추가했습니다. 이러한 작업뿐만 아니라 샷의 셋업 및 이펙트 향상을 위해 제작팀은 셰이프 시프터 크리에이티브(Shape Shifters Creative)와 협업했습니다.페이셜 애니메이션은 언리얼 엔진에서 사용하기 위해 메타휴먼마다 포함된 메타휴먼 페이셜 릭을 사용하여 키프레이밍 했습니다. 입이 가려져 있기 때문에 눈동자 표현으로 대부분의 감정을 설득력 있게 전달해야 했죠.
최종 프레임은 언리얼 엔진 5에서 전부 렌더링했습니다. 단, 먼지와 파티클, 스카이, 클라우드, 연기와 같이 마지막으로 추가하는 앰비언트 이펙트의 경우, 언리얼 엔진 마켓플레이스의 에셋을 사용했습니다.
Aaron Sims Creative 이미지 제공
애런은 말합니다. “포스트 프로덕션은 언리얼 엔진으로만 진행했습니다. 최종 편집 과정에서 어도비 프리미어 프로 2021(Adobe Premiere Pro 2021)을 사용한 것을 제외하면요. 영상에서 보이는 모든 렌더링을 언리얼 엔진 5에서 작업했죠.”
영상 프로듀서 질 길버트(Jill Gilbert)가 말합니다. “선형적인 일정이 아니라 여러 작업을 동시에 진행할 수 있다는 점이 매력적이었습니다. 기존에는 촬영한 뒤 처음으로 돌아가서 다시 하는 방식이었는데 이번에는 동시에 모든 것을 다듬을 수 있었습니다. 마지막까지 크리에이티브한 변화를 이끌어낼 수 있었죠.”
이처럼 융통성이 보장되자 비비안은 새로운 방법으로 대본을 작성하기도 했습니다. 비비안은 말합니다. “제작 프로세스가 발전하자 결국 기존 대본을 탈피하는 경지에 이르렀죠. 결국 저는 글로 적은 대사 대신 성우 파일만 녹음하여 애런에게 보냈습니다. 진행 속도가 느린 기존 애니메이션 제작 환경에서는 처음 듣는 일이겠지만, 언리얼로 작업하면서 영화의 신속한 반복작업에 삽입할 수 있는 여러 성우 파일을 전달할 수 있었습니다. 덕분에 스토리를 다양한 방향으로 짜볼 수 있었죠.”
리얼타임 영화 제작이었기에 가능했던 비선형적 의사 결정과 크리에이티브 반복작업
프로젝트에 참여한 모든 이들이 인정한 사실 중 하나는 바로 언리얼 엔진으로 작업하면 제작 후반 단계에서도 반복작업을 신속하게 처리하고 새 아이디어를 시도할 수 있다는 점입니다.영상 프로듀서 질 길버트(Jill Gilbert)가 말합니다. “선형적인 일정이 아니라 여러 작업을 동시에 진행할 수 있다는 점이 매력적이었습니다. 기존에는 촬영한 뒤 처음으로 돌아가서 다시 하는 방식이었는데 이번에는 동시에 모든 것을 다듬을 수 있었습니다. 마지막까지 크리에이티브한 변화를 이끌어낼 수 있었죠.”
이처럼 융통성이 보장되자 비비안은 새로운 방법으로 대본을 작성하기도 했습니다. 비비안은 말합니다. “제작 프로세스가 발전하자 결국 기존 대본을 탈피하는 경지에 이르렀죠. 결국 저는 글로 적은 대사 대신 성우 파일만 녹음하여 애런에게 보냈습니다. 진행 속도가 느린 기존 애니메이션 제작 환경에서는 처음 듣는 일이겠지만, 언리얼로 작업하면서 영화의 신속한 반복작업에 삽입할 수 있는 여러 성우 파일을 전달할 수 있었습니다. 덕분에 스토리를 다양한 방향으로 짜볼 수 있었죠.”
언리얼 엔진 5 얼리 액세스가 약속하는 영화 제작의 새로운 가능성
정식 버전이 아닌 얼리 액세스 단계이지만 ASC 제작팀은 이미 언리얼 엔진 5를 이용한 작업에 적응한 상태입니다. 이들은 얼리 액세스 출시에 포함된 샘플 프로젝트 에인션트의 협곡에 참여했으며, 5천만 개의 폴리곤을 갖춘 거대 캐릭터를 만들어냈습니다. UE5의 가상화된 마이크로폴리곤 지오메트리 시스템인 나나이트를 이용하여 전부 애니메이션화할 수 있었죠.
에픽게임즈는 얼리 액세스 단계인 언리얼 엔진 5를 제작에 사용하는 것을 권하지 않지만, 애런은 엔진을 적극적으로 받아들이고 있습니다.
애런은 말합니다. “아직은 제작과 수정을 거치는 중이라 제가 작업하는 버전과 다르긴 하지만, UE4와 다른 인터페이스 덕분에 작업하기 아주 편합니다. 룩, 내비게이션, 툴 면에서 인터페이스가 더 마음에 들었습니다.”
애런은 라이트맵을 베이킹할 필요가 없는 언리얼 엔진 5의 새로운 다이내믹 글로벌 일루미네이션 및 리플렉션 시스템인 루멘과 엔진에 새로 추가된 애니메이션 툴도 잘 활용하고 있습니다.
애런은 말합니다. “아직은 제작과 수정을 거치는 중이라 제가 작업하는 버전과 다르긴 하지만, UE4와 다른 인터페이스 덕분에 작업하기 아주 편합니다. 룩, 내비게이션, 툴 면에서 인터페이스가 더 마음에 들었습니다.”
애런은 라이트맵을 베이킹할 필요가 없는 언리얼 엔진 5의 새로운 다이내믹 글로벌 일루미네이션 및 리플렉션 시스템인 루멘과 엔진에 새로 추가된 애니메이션 툴도 잘 활용하고 있습니다.
Aaron Sims Creative 이미지 제공
애런은 말합니다. “라이팅은 영화 제작자인 저에게 있어 중요한 요소이기에, 루멘도 제 워크플로에서 많은 부분을 차지합니다. 저는 한동안 ASC 제작팀에게 엔진을 통한 애니메이션 제작에 집중하도록 밀어붙였습니다. 물론 UE4에서도 놀라운 일들을 해낼 수 있었지만, 이번 프로젝트를 통해 UE5의 새로운 툴과 컨트롤 릭이 가진 장점을 제대로 활용할 수 있었죠.”
언리얼 엔진을 활용한 영화 제작의 미래
애런은 앞으로도 언리얼 엔진을 이용해 창작을 이어 나갈 것입니다. 애런은 말합니다. “영화 제작자로서 언리얼이 가장 흥미로운 점은 바로 개인의 힘으로 직접 영화를 만들고 실시간으로 스토리를 전할 수 있다는 것입니다. 지금까지 이 정도로 디테일을 살리고 창작의 자유를 누린 적은 없었습니다. 영화 제작자들이 리얼타임 기술을 활용하는 건 이제 시작이라고 생각합니다. 소프트웨어가 진화하고 교육용 리소스가 늘어나면 누구든 원하는 대로 스토리를 쉽게 전달할 수 있을 겁니다.”
Aaron Sims Creative 이미지 제공
애런은 30년 이상 영화 제작에 종사하며 많은 변화를 목격했습니다. 애런은 말합니다. “저희는 실제 이펙트, 특수분장, 퍼펫, 애니메트로닉스에서 VFX를 거쳐 지금까지 왔습니다. 저는 언리얼이 그린 스크린과 블루 스크린 VFX 시대에서 후반 작업으로 보정하던 영화 제작자들을 다시 실시간 촬영의 현장으로 불러왔다고 생각합니다.”
노련한 베테랑인 애런은 여전히 영화 제작 프로세스를 개선하기 위해 새로운 기술 도입을 꿈꾸고 있습니다.
애런은 말합니다. “세트장에 LED 스크린을 설치하고 언리얼 엔진으로 세트를 확장한 덕분에, 영화 제작자들은 출연진과 제작진을 세계 어디든, 혹은 그 너머로 데려갈 수 있습니다. 덕분에 모든 것이 바뀌었죠. 실제 특수분장 이펙트 배경을 가진 저에게 있어 다음 단계는 바로 CG 크리처를 LED 스크린 현장에 데려와 배우와 영화 제작자들이 크리처를 직접 보고 작업할 수 있도록 만드는 것이라고 생각합니다.”
“저희는 디 아이를 제작하기 전 라이브 액션 단편 영화로 이 프로세스를 시험해 보려 했습니다. 아직 타이밍 등 다른 요소를 프로젝트에 맞게 조정하진 않았지만, 누군가 시도하게 되면 크리처 기반의 VFX에 변화를 가져올 겁니다.”
한편 애런은 언리얼 엔진에서 실현할 아이디어가 넘쳐납니다.
애런은 말합니다. “디 아이 제작에 참여한 이후, 처음부터 끝까지 엔진에서 스토리를 만드는 일이 개인적으로 매우 즐겁습니다. 프로세스가 정말 괜찮거든요. 어서 언리얼 엔진을 통해 수많은 스토리를 전하고 싶습니다.”
노련한 베테랑인 애런은 여전히 영화 제작 프로세스를 개선하기 위해 새로운 기술 도입을 꿈꾸고 있습니다.
애런은 말합니다. “세트장에 LED 스크린을 설치하고 언리얼 엔진으로 세트를 확장한 덕분에, 영화 제작자들은 출연진과 제작진을 세계 어디든, 혹은 그 너머로 데려갈 수 있습니다. 덕분에 모든 것이 바뀌었죠. 실제 특수분장 이펙트 배경을 가진 저에게 있어 다음 단계는 바로 CG 크리처를 LED 스크린 현장에 데려와 배우와 영화 제작자들이 크리처를 직접 보고 작업할 수 있도록 만드는 것이라고 생각합니다.”
“저희는 디 아이를 제작하기 전 라이브 액션 단편 영화로 이 프로세스를 시험해 보려 했습니다. 아직 타이밍 등 다른 요소를 프로젝트에 맞게 조정하진 않았지만, 누군가 시도하게 되면 크리처 기반의 VFX에 변화를 가져올 겁니다.”
한편 애런은 언리얼 엔진에서 실현할 아이디어가 넘쳐납니다.
애런은 말합니다. “디 아이 제작에 참여한 이후, 처음부터 끝까지 엔진에서 스토리를 만드는 일이 개인적으로 매우 즐겁습니다. 프로세스가 정말 괜찮거든요. 어서 언리얼 엔진을 통해 수많은 스토리를 전하고 싶습니다.”
언리얼 엔진 5 얼리 액세스를 시험해 보고 싶으신가요?
2022년 초 출시 예정인 UE5의 얼리 액세스 버전을 다운로드하여 신규 기능과 더불어 컨트롤 릭을 갖춘 2.7m의 외계인 테우티산을 살펴보세요.