버추얼 가수의 등장: Fox의 Alter Ego 제작기

차세대 팝스타 만들기

아바타를 향한 관심을 모으려면 무대 안팎에서 모션 캡처 기능이 필요했습니다. 그래서 진먼은 캡처 프로세스뿐만 아니라 캐릭터 작업도 하는 실버 스푼 애니메이션(Silver Spoon Animation)과 협력했습니다. 6주 안에 20명의 캐릭터를 생성하고, 이 캐릭터들이 관객과 감정적으로 교류하며 라이브 심사를 견디도록 만들어야 했죠.

우선 50명의 아티스트로 이루어진 팀이 참가자와 작업하여 4가지의 다른 의상 옵션과 참가자별 비주얼 이펙트로 자신의 무대 페르소나를 정확하게 반영할 캐릭터를 디자인하기 시작했습니다.

그 결과 무대 뒤에서 모션 캡처 퍼포먼스를 하나도 놓치지 않고 전부 반영하는 버추얼 아바타가 완성되었습니다. 참가자가 울면 아바타도 울음을 터뜨리고, 얼굴을 붉혀도, 손가락으로 머리를 매만져도 아바타가 그대로 같은 행동을 합니다. 세트장 모니터로 모든 최종 공연을 직접 볼 수 있으므로, 라이브 청중들이 컴퓨터로 만든 이미지로 인해 거리감을 느끼지 않고 캐릭터와 교감하며 공연에 몰입할 수 있었습니다.

진먼은 말합니다. “얼터 에고 같은 쇼를 연출하려면 언리얼 엔진의 DMX 기능이 필요합니다. 저희 팀은 모두 DMX와 프로토콜을 사용할 수 있죠. DMX는 네트워크 대회 쇼를 일정 안에 개최하기 위한 유일한 방법입니다. 라이팅 디렉터가 한 콘솔에서 버추얼 및 실제 스튜디오 라이트를 프로그래밍하고, 다른 콘솔에서 캐릭터를 프로그래밍하는 식으로 리허설 시간을 단축할 수 있습니다. 이런 식으로 하루에 각기 다른 10번의 공연을 치러낸 겁니다.”

이와 함께 실버 스푼은 언리얼 엔진의 라이브 링크 기능을 활용하여 10개 이상의 모캡 인스턴스에서 아바타로 데이터를 스트리밍했습니다. 사실상 대기 시간이 거의 없는 언리얼 엔진은 액터로부터 캡처한 고품질 애니메이션을 실시간으로 아바타에 렌더링할 수 있습니다. 라이브 링크는 전용 라이브 링크 페이스 앱을 통해 페이셜 애니메이션에도 사용되는데, 이 앱을 통해 페이셜 퍼포먼스를 iPhone이나 iPad를 통해 캡처하여 언리얼 엔진에서 실시간으로 렌더링할 수 있습니다. 라이브 링크를 사용하면 얼터 에고가 Vicon 데이터 패킷 전용 플러그인을 작성할 필요가 없어져 스켈레탈 메시를 자유롭게 애니메이팅할 수 있게 되었습니다.

더욱 다양한 경험으로 확장되는 미래

제작을 완료할 때까지 실버 스푼과 룰루 AR은 포스트 프로덕션 없이 80번 이상의 공연, 다시 말해 12시간 분량의 콘텐츠 제작을 도왔습니다.

팩은 말합니다. “이번 쇼를 만들면서 부담이 컸습니다. 황금 시간대에 이 정도 규모의 작업은 처음이었죠. 언리얼 엔진은 엔진으로 직접 리얼타임 파티클 시뮬레이션, 리얼타임 헤어 시뮬레이션, 리얼타임 라이팅을 만들 수 있는 수준에 이르렀습니다. 보통은 포스트 프로세싱 과정에서 완성해야 할 놀라운 이펙트를 실시간으로 구현할 수 있죠.”