언리얼 엔진으로 2D에서 3D 애니메이션으로 탄생한 Big City Greens

빅 시티 그린 연말 특집에서 그린 가족은 크리스마스에 크리켓 그린(Cricket Green)이 폭설로 고립되어 가족이 있는 집으로 돌아오지 못하게 되는 난처한 상황에 처합니다.

다행히 크리켓의 친구 레미(Remy)에게 해결책이 있습니다. 레미의 새 가상현실 게임 속 3D 환경에서 그린 가족이 함께 크리스마스를 보내면 된다는 것입니다. 디즈니 테크놀로지 팀 소프트웨어 엔지니어링 부문 부사장 카키 나바르(Kaki Navarre)는 이렇게 설명합니다. “이 작품을 통해 저희는 기존의 2D 스토리텔링을 3D 리얼타임 스토리텔링과 혼합해 볼 수 있었습니다. 캐릭터들이 가상 세계로 들어가면서 경험하는 것과도 같은 여정이죠.”

애니메이션을 2D에서 3D로 옮기는 데는 예술적 관점에서도, 기술적 관점에서도 많은 도전이 따릅니다. 우선 캐릭터의 3D 버전이 원래의 2D 버전에 충실해야 합니다.

디즈니의 3D 애니메이션 수퍼바이저 제니퍼 버치필드(Jennifer Burchfield)는 말합니다. “가장 까다로웠던 부분은 그린 가족을 그들답게 만드는 것이었습니다. 모션과 디자인 측면 모두에서요. 이 캐릭터를 보면 크리켓이라고 느낄 수 있어야 했습니다.”

프로젝트는 언리얼 엔진에 기반한 리얼타임 파이프라인으로 구성되었지만, 이 에피소드의 아트 스타일은 물리 기반 게임 엔진의 룩과는 달리 사실적이기보다 고도로 스타일라이즈된 룩이어야 했습니다.

팀은 스톱모션과 일러스트풍 스타일에서 영감을 받아 그들만의 룩을 개발했고, 그 룩은 다양한 아트 및 애니메이션 기법을 중심으로 결합되기 시작했습니다. 일관성을 위해서는 스타일 가이드를 작성해서 라이트와 섀도가 캐릭터와 상호작용하는 방식부터 표면의 리플렉션 방식까지 모든 것을 정의해야 했습니다.

팀은 또한 지오메트리에 스미어 프레임(Smear frames)을 적극적으로 활용했습니다. 스미어 프레임은 움직이는 물체 뒤에 마치 얼룩(smear)처럼 몇 개의 이미지가 뒤따르게 하는 2D 애니메이션 기법입니다. 그렇게 하면 물체가 지속적으로 움직이는 듯한 착시 효과를 줍니다. 버치필드는 말합니다. “이를 통해 피너츠(Peanuts) 또는 스파이더맨: 뉴 유니버스(Spider-Man: Into the Spider-Verse)의 접근 방식과 더 유사해졌습니다. 모션 블러를 전혀 사용하지 않아서 쇼가 더 스타일라이즈된 느낌이죠.”

이러한 기법을 쓰려면 캐릭터 릭에서 출발해야 합니다. 팀은 Maya에서 릭을 제작한 다음, 컨트롤 릭을 사용하는 프리비즈 애니메이션 패스(pass)를 위해 엔진으로 가져왔습니다.

그런 다음 데이터를 애니메이션 시퀀스로 굽고, 애니메이터가 Maya에서 최종 패스를 수행할 수 있도록 FBX로 익스포트했습니다. 디즈니의 3D 애니메이션 파이프라인 수퍼바이저 에번 바인더(Evan Binder)는 말합니다. “반드시 스쿼시 앤 스트레치 룩을 고수하고 싶었고, 엔진 외부에서는 편집을 하고 싶지 않았습니다.”

“퍼포먼스상의 이유로 FBX를 계속 사용했습니다. 그 이유는 첫 번째로 FBX에서 컨트롤 릭이 잘 작동하기 때문이고, 아티스트들도 컨트롤을 확인하여 나중에 엔진에서 수정할 수 있기 때문입니다.”

최종 Maya 패스가 끝난 후에는 모든 것을 다시 엔진으로 가져와 팀이 전체 컨텍스트에서 확인하고 엔진에서 스미어 프레임을 추가하며 필요한 부분을 변경할 수 있게 했습니다. 드로스트는 말합니다. “엔진으로 다시 가져와서 모든 것을 세트 안에 둡니다. 그러면 라이팅과 함께, 모든 것을 최종 상태로 볼 수 있습니다. 그리고 반복작업을 계속하는 주기가 매우 빨라서 의사결정도 아주 빠르게 할 수 있습니다.”

“작품이 실제로 어떻게 보일지의 최종 컨텍스트 안에서 작업하는 것이 아니기 때문에 많은 것을 추측하고 확인해야 합니다. 많은 경우 변경사항의 파급 효과를 확인하기까지 며칠, 몇 주, 몇 달이 걸리기도 합니다. 리얼타임 작업에서는 이러한 시간이 완전히 단축됩니다. 변경의 영향을 거의 즉각적으로 확인할 수 있습니다.”

이를 느낀 사람들의 반응은 뜨거웠습니다. 단절되어 있었던 부서들이 동시에 공동으로 작업을 시작할 수 있게 되면, 업데이트는 활기를 주는 경험이 됩니다. 일반적으로 이 프로세스는 시네마틱 디렉터가 생성한 정육면체와 원기둥, 프리비즈 에셋에서 시작되었습니다. 그 모든 작업을 레이아웃 단계에, 최종 에셋이 생성 중인 동안 진행할 수 있게 되었습니다. 팀은 그런 다음 블루프린트, 서브레벨 중첩, 랜드스케이프 스컬프팅, 대역 소품을 사용하여 애니메이션, 시네마틱, 라이팅, 기술 부문에서 제작이 계속 진행되도록 했습니다. 모델이 완성되고 나면 엔진에서 쉽게 교체하거나 업데이트할 수 있었습니다.

디즈니의 3D 에셋 수퍼바이저 크리스티나 덕(Christina Douk)은 이렇게 말합니다. “Perforce로 모든 파일을 동기화하고 시퀀서로 다시 열린 프로젝트에서 플레이 버튼을 누를 때마다, 매일이 새로운 선물처럼 느껴졌습니다. 그 덕분에 엔진에서의 반복작업이 아주 재미있고 흥미로웠고, 제작을 진전시키면서 계속 영감을 받을 수 있었습니다.”

리얼타임 3D 영화 제작 툴

언리얼 엔진의 영화 제작 툴은 물리적 세트에서 볼 수 있는 툴을 재현합니다. 프로젝트 초기에 드로스트는 엔진에서 혼자 대략적인 스토리를 만들었습니다. 드로스트는 말합니다. “정말 훌륭했습니다. 디지털 샌드박스를 사용하여 머릿속에 있는 것을 엔진에 만들 수 있었습니다.”

디즈니의 리얼타임 미디어 부문 테크놀로지 디렉터 앤디 우드(Andy Wood)는 이렇게 설명합니다. “하나의 거대한 프로젝트 안에서 바삐 돌아다니며 빠르게 수정할 수 있습니다. 기존 파이프라인에서는 그럴 수 없었죠. 언리얼 엔진과 같은 중앙 집중식 콘텐츠 제작 툴세트 덕분에 가능합니다.”

마지막 순간까지 샷을 수정할 수 있다는 점은 특히 제작의 마무리 단계에 중요한 수정을 요청받았을 때 큰 장점이 되었습니다. 드로스트는 말합니다. “아주 긴 데다가 많은 작업이 필요한 시퀀스를 재작업해야 했습니다. 평소라면 결방이 날 상황이었죠. 하지만 쇼러너와 함께 앉아서 언리얼 엔진으로 3분짜리 시퀀스 전체를 2시간 만에 완전히 다시 만들었습니다.”

멀티 플랫폼 콘텐츠 파이프라인

디즈니는 언제나 애니메이션 기술의 한계에 도전해 왔고, 테크놀로지 팀은 리얼타임 시각화의 새로운 지평을 열고 있습니다. 따라서 ‘버추얼리 크리스마스’를 리얼타임으로 제작하는 것은 자연스러운 수순처럼 느껴졌습니다. 우드는 말합니다. “기술이 발전할수록 우리는 고민하게 됩니다. 어떻게 하면 더 많은 컨텍스트를 더 빠르게 확보할 수 있을까? 어떻게 하면 새롭고 혁신적인 방식으로 작업할 수 있을까? 이런 종류의 프로젝트에서 리얼타임 기술을 하나의 가능성으로 탐색해 보는 것은 아주 타당한 시도였습니다.”

디즈니가 ‘버추얼리 크리스마스’에서 리얼타임 기술을 사용한 것은 훨씬 큰 그림의 일부입니다. 테크놀로지 팀과 크리에이티브 팀이 버추얼 프로덕션, 콘텐츠 인터랙션, 데이터 시각화 등 다른 영역에서도 리얼타임 워크플로를 사용할 방법을 모색하기 시작했기 때문입니다. 부서들이 협력하여 리얼타임 콘텐츠를 제작하게 되면서 흥미로운 기회가 생겼습니다. 바로 멀티 플랫폼 콘텐츠 파이프라인을 만들 기회입니다.