2018년 11월 14일
버추얼 프로덕션: Digital Domain이 말하는 디지털 휴먼 그 이상
디지털 휴먼은 수많은 잠재력을 가진 버추얼 프로덕션의 흥미로운 일면일 뿐입니다. 팟캐스트의 최신 에피소드, 비주얼 디스럽터: 버추얼 프로덕션의 미래 살펴보기 (Visual Disruptors: Exploring the Future of Virtual Production)에 디지털 도메인(Digital Domain)이 출연하여, 게임 엔진과 실시간 기술이 영화 제작계에 엄청난 생산성과 창의력을 안겨준 방법과 특징에 대해 설명합니다.
팟캐스트를 간단히 소개하자면 첫 번째 에피소드에서는 버추얼 프로덕션이 무엇인지에 대한 기초 정보와 이미 버추얼 프로덕션이 영화 제작계에 미친 영향을 비롯해 발전하는 기술과 그 기술이 가져다줄 미래를 예상해 봅니다.
두 번째 에피소드인 디지털 휴먼, 배우와 아바타(Digital Humans: Actors and Avatars)에서는 (연구라는 이름 아래 자신의 디지털 아바타를 제작한) fxguide의 마이크 시모어(Mike Seymour)가 디지털 도메인의 시각화 팀장인 스콧 메도우즈(Scott Meadows)와 소프트웨어 R&D 부문 선임 감독인 더그 로블(Doug Roble)을 상대로 버추얼 프로덕션 및 디지털 휴먼 분야에서 앞서가는 그들의 작업에 대해 인터뷰합니다.
제일 먼저 메도우즈는 트론(Tron) 당시 프리비즈를 위해 사용했던 툴셋이 그래픽 하드웨어와 실시간 엔진의 끊임없는 발전으로 몇 년 전까지 상상하지 못했던 수준으로 성장하고 있다고 설명합니다. 미녀와 야수(Beauty and the Beast), 블랙 팬서(Black Panther), 레디 플레이어 원(Ready Player One)에서 툴과 기술을 갈고 닦은 메도우즈는 이제 프리비즈 단계에서 거친 3D 모델을 제작하는 데 그치지 않고 파이프라인을 통해 프리비즈의 애셋을 포스트비즈로, 풀 VFX 포스트 프로덕션까지 사용하는 방법을 생각 중입니다.
디지털 휴먼에 대한 심층연구
감독은 세트에서 실사 촬영을 하면서도 CG 요소를 얼마든지 확인할 수 있습니다. 하지만, 실사용 단계 수준의 CG 캐릭터가 배우의 연기를 실시간으로 반영하여 배우가 아닌 캐릭터의 연기를 확인할 수 있다면 어떨까요? 직접 연기 지도도 가능하다면요?
이것이 바로 로블이 진행한 '디지털 더그(Digital Doug)' 프로젝트의 목표입니다. 로블은 스스로 실험체가 되어 마커 없이 릭을 최소화한 단일 카메라 실시간 고해상도 얼굴 애니메이션 시스템(결코 쉬운 도전이 아닙니다!) 제작에 착수했습니다. 로블은 컴퓨터가 영상을 완전히 인식할 수 있도록 머신러닝 적용 이전에, 몇 가지의 기존 기술에 특별한 특허 기술들을 더해야 했습니다.
먼저 USC 크리에이티브 테크놀로지 연구소의 라이트 스테이지(USC Institute for Creative Technologies' Light Stage)에서 여러 포즈로 초고해상도 스캔을 했습니다. 이때 스캔한 이미지가 놀라울 정도로 사실적이긴 했지만 포즈를 바꿀 때마다 텍스처가 흔들려 움직임을 즉시 반영할 순 없었습니다.
다음에 시도한 디멘셔널 이미징(Dimensional Imaging, DI4D)에서는 저해상도이긴 해도 움직임을 즉시 반영하는 이미지 데이터를 얻었습니다.
이어서 로블은 디지털 도메인의 전통적인 모션 캡처 스테이지에서 얼굴에 160개의 마커를 달고 감정부터 다양한 표정까지 캡처했습니다. 하지만, 마커 160개로 제작된 메시에서는 사실적인 수준의 해상도를 얻지 못했습니다.
로블은 여기서 포기하지 않고 어벤져스: 인피니티 워(Avengers: Infinity War)에서 처음 사용한 디지털 도메인의 매스커레이드(Masquerade) 소프트웨어에 라이트 스테이지와 DI4D 스캔에서 얻은 정보를 입력해 데이터를 머신 러닝에 사용할 수 있도록 해상도를 마커 80,000개를 사용한 것과 맞먹는 수준으로 높였습니다. 애니메이터들은 이 고해상도 메시를 활용해 기존 방법으로 릭을 블렌드 셰이핑할 수 있었습니다.
하지만 시스템으로 가능한 작업은 이게 끝이 아니었습니다. 로블은 이를 활용해 20,000개의 고해상도 이미지와 다양한 포즈의 메시를 만들어 냈습니다. 마지막으로 이 데이터를 머신 러닝 알고리즘에 넣어 시스템을 개선했습니다. 시스템 개선 작업이 끝날 무렵에는 실사 촬영을 통해 어떤 데이터를 입력하더라도 고해상도 이미지와 적절한 메시 조합을 90fps의 속도로 계산해낼 수 있었습니다. 즉, 더그가 무슨 행동을 하든 디지털 더그(또는 더그를 바탕으로 만든 다른 CG 캐릭터)도 실시간으로 같은 동작을 할 수 있습니다. 물론 언리얼 엔진도 이에 지지 않는 렌더링을 해낼 수 있죠.
이 획기적이고 새로운 기술이 더 궁금하다면 여기에서 팟캐스트를 들어 보세요.
여러분도 참여하세요
비주얼 디스럽터이신가요? 버추얼 프로덕션이 더 궁금하세요? 그렇다면 여러분도 참여하세요. 여기서 구독하시면 흥미로운 시리즈가 새롭게 업데이트될 때마다 이메일로 알려 드립니다.
또한, 새로운 버추얼 프로덕션 허브에서 풍부한 정보를 담은 기사와 영상, 소식들을 확인해 보세요.