UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
증강현실로 만든 또 하나의 현실: 언리얼 엔진으로 연극을 재정의한 UCLA
2022년 11월 2일
역사상 가장 유명한 디스토피아 소설 중 하나를 다시 쓸 기회가 있다면 어떻게 하시겠어요? 독특하게도 연극과 공학을 전공한 학생들이 섞여 있는 UCLA 엔지니어링·미디어·공연 연구센터(Research in Engineering, Media and Performance, REMAP) 학생과 교직원 팀의 대답은 간단했습니다. '일단 해 보자'였죠.
이들은 언리얼 엔진을 활용해서 아마존 스튜디오(Amazon Studios)의 스트리밍 시리즈 높은 성의 사나이(The Man in the High Castle)의 세계를 배경으로 창작 연극을 제작하기로 했습니다. 그러면서 세계적인 팬데믹의 어려움에도 대응해야 했습니다. 그 결과 앞으로 한동안 UCLA 연극의 관객 경험을 변화시킬 멋진 증강현실이 제작되었습니다.
이들은 언리얼 엔진을 활용해서 아마존 스튜디오(Amazon Studios)의 스트리밍 시리즈 높은 성의 사나이(The Man in the High Castle)의 세계를 배경으로 창작 연극을 제작하기로 했습니다. 그러면서 세계적인 팬데믹의 어려움에도 대응해야 했습니다. 그 결과 앞으로 한동안 UCLA 연극의 관객 경험을 변화시킬 멋진 증강현실이 제작되었습니다.
씬 설정
연극의 공동 연출자 미라 위닉(Mira Winick)은 말합니다. “처음 증강현실에 관심을 가지게 된 것은 저희가 추구하는 가치에 맞기 때문이었죠. REMAP은 학생과 교직원 모두 참여하여 혁신을 이루고 창작을 장려하기 위해 설립되었습니다. 증강현실로 제작하면 관객도 연극에 참여할 수 있습니다. 학생, 교직원, 관객 모두가 비물리적인 공간에서 고유한 경험을 공유할 수 있게 됩니다. 저희는 이것이 메시지를 담은 예술의 훌륭한 매체가 될 것을 직감하고, 증강현실을 중심으로 다음 프로젝트를 제작하기로 했습니다.”높은 성의 사나이의 세계를 배경으로 하는 이 창작 스토리는 중첩되는 타임라인과 선견지명이 돋보이는 사회정치적 주제의 내러티브를 통해 증강현실 프로젝트에 딱 맞는 방향성을 제시해줄 것으로 보였습니다. REMAP은 필립 K. 딕(Philip K. Dick)의 1962년 소설을 고유하게 재창조해 보자는 꿈을 품고 후원자 확보에 착수했으며, 에픽 메가그랜트도 신청했습니다.
작품의 세일즈 포인트는 높은 성의 사나이의 세계를 배경으로 하는 몰입감 있는 증강현실 연극이라는 점이었고, 관객은 더 그래스호퍼 라이즈 헤비(The Grasshopper Lies Heavy)라는 증강현실 애플리케이션을 휴대하면 다른 타임라인에서 전개되는 평행 스토리를 볼 수 있었습니다. 예를 들어 관객은 추축국이 제2차 세계대전에서 승리하는 억압적인 현실을 연기하는 배우들을 눈앞에서 보면서도, 증강현실 디바이스로 우리 세계와 비슷한 곳에서 파시즘에 대한 저항이 일어나 더 나은 미래에 대한 희망이 싹트는 모습도 보게 됩니다.
UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
에픽 메가그랜트 덕분에 이 팀은 언리얼 엔진으로 증강현실을 탐색할 수 있었을 뿐 아니라, 여러 언리얼 엔진 플러그인 템플릿을 개발할 리소스를 제공받아 학생들이 한 장소에 모일 필요 없이 협업할 수 있었습니다.
에픽 메가그랜트의 재정 지원을 받은 덕분에 팀은 언리얼 엔진 플러그인 템플릿을 개발할 수 있었을 뿐 아니라, 언리얼 엔진으로 AR을 연구할 수 있어서 장소에 구애받지 않고 협업이 가능했습니다. 이렇게 해서 모바일과 워크스테이션 디바이스 모두에서 프리비즈 및 증강현실 컴포넌트를 제작하기 시작했고, 플러그인 아키텍처가 완성된 후에는 최혜국(A Most Favored Nation)이라는 프로젝트 제작을 시작했습니다.
먼저 소수의 UCLA 학생이 선정되어 경험이 풍부한 교직원과 외부 게스트와 함께 콘셉트를 구체화했습니다. 게스트에는 높은 성의 사나이 시리즈 원작 프로덕션 디자이너 한 분도 포함되어 있었죠. REMAP의 이 진취적인 프로젝트는 학문적 프로그램은 아니지만 학생에게 제작 프로세스의 여러 시점에서 관련 강좌를 들을 수 있는 기회를 제공하여 각자 기술을 연마하고 관련 산업의 직군에 대비할 수 있습니다.
REMAP은 연출, 문예 창작, 디자인, 무대 관리, 연기 전공 학생과 비평 분야 박사 과정생을 비롯한 모든 연극 관련 학과생을 최혜국 프로젝트에 초대했습니다. REMAP의 공동 설립자 제프 버크(Jeff Burke)는 말합니다. “저희 영화학 과정을 듣는 촬영감독들이 시각적 룩 앤 필에 관해 조언해 주었습니다. 디자인학과 학생들은 그래스호퍼 증강현실 디바이스의 프로토타입을 만들었습니다. 각본가 중 한 명은 MFA 과정의 극작 전공 학생이었습니다. 언리얼 엔진 사용을 비롯한 제작의 소프트웨어 분야에 참여한 학생들도 있었습니다.”
에픽 메가그랜트의 재정 지원을 받은 덕분에 팀은 언리얼 엔진 플러그인 템플릿을 개발할 수 있었을 뿐 아니라, 언리얼 엔진으로 AR을 연구할 수 있어서 장소에 구애받지 않고 협업이 가능했습니다. 이렇게 해서 모바일과 워크스테이션 디바이스 모두에서 프리비즈 및 증강현실 컴포넌트를 제작하기 시작했고, 플러그인 아키텍처가 완성된 후에는 최혜국(A Most Favored Nation)이라는 프로젝트 제작을 시작했습니다.
언리얼 타임
먼저 소수의 UCLA 학생이 선정되어 경험이 풍부한 교직원과 외부 게스트와 함께 콘셉트를 구체화했습니다. 게스트에는 높은 성의 사나이 시리즈 원작 프로덕션 디자이너 한 분도 포함되어 있었죠. REMAP의 이 진취적인 프로젝트는 학문적 프로그램은 아니지만 학생에게 제작 프로세스의 여러 시점에서 관련 강좌를 들을 수 있는 기회를 제공하여 각자 기술을 연마하고 관련 산업의 직군에 대비할 수 있습니다.REMAP은 연출, 문예 창작, 디자인, 무대 관리, 연기 전공 학생과 비평 분야 박사 과정생을 비롯한 모든 연극 관련 학과생을 최혜국 프로젝트에 초대했습니다. REMAP의 공동 설립자 제프 버크(Jeff Burke)는 말합니다. “저희 영화학 과정을 듣는 촬영감독들이 시각적 룩 앤 필에 관해 조언해 주었습니다. 디자인학과 학생들은 그래스호퍼 증강현실 디바이스의 프로토타입을 만들었습니다. 각본가 중 한 명은 MFA 과정의 극작 전공 학생이었습니다. 언리얼 엔진 사용을 비롯한 제작의 소프트웨어 분야에 참여한 학생들도 있었습니다.”
UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
2006년 REMAP에서 언리얼 엔진 2.0으로 라이브 연극을 제작한 적도 있었지만, 팀은 언리얼 엔진 4.24가 이전 버전에 비해 훨씬 이용하기 쉽다는 사실을 알게 되었습니다. 언리얼 엔진 사용 경험이 적거나 아예 없는 학생들도 기능을 잘 이해할 수 있었습니다. 버크는 말합니다. “저희는 최혜국을 처음 구상하면서 언리얼 엔진이 증강현실 요소를 통합하는 데 필요한 퍼포먼스, 기능, 안정성을 제공할 것이라고 판단했습니다.” 그는 연극 제작이 언리얼 엔진을 중심으로 한 UCLA 실습 활동의 일부였다고 설명합니다. 이 실습에는 영화 프리비즈 강좌, 팬데믹 동안의 원격 가상 공연, 몰입형 학습 환경 등이 포함되어 있었습니다.
UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
버크는 프로젝트에서 사용한 것 중 가장 마음에 들었던 언리얼 엔진 기능을 이렇게 설명합니다. “블루프린트 덕분에 코딩에 대한 배경지식이 없는 REMAP 사람들도 엔진을 사용하며 프로젝트에 참여할 수 있었습니다. 머티리얼 시스템 내에서 증강현실 패스스루 카메라와 오클루전 마스크를 노출할 수 있다는 점이 원하는 룩 앤 필을 만드는 데 중요한 부분이었습니다.”
REMAP은 모든 영상 평면을 실시간으로 컴포지팅했습니다. 즉, 라이브 또는 네트워크 영상과 사전 녹화된 영상의 평면에 동일한 접근 방식을 사용할 수 있었습니다. 버크는 이렇게 덧붙입니다. “팀이 과거에는 컴포셔 컴포지터를 자체 개발했지만, 이번에는 컴포셔 컴포지터를 차용하여 빠듯한 일정에도 고퀄리티 리얼타임 키어로 여러 엘리먼트를 손쉽게, 보기 좋게 만들 수 있었습니다.”
언리얼 엔진의 플러그인 아키텍처 덕분에 버크와 리드 개발자 피터 구세프(Peter Gusev)는 재사용 가능한 컴포넌트도 개발할 수 있었습니다. 이러한 접근 방식으로 귀중한 시간이 절약되었을 뿐 아니라 학생들에게 위치 재지정, 영상 평면 함수 기능, 외부 OSC 제어와 같은 특정 작업용 플러그인을 작업하도록 요청할 수 있었습니다. 각 컴포넌트가 동일한 보일러플레이트 코드에 기초해 있어 학생들은 배시 스크립트를 사용하여 자신만의 플러그인을 생성할 수 있었습니다.
REMAP은 모든 영상 평면을 실시간으로 컴포지팅했습니다. 즉, 라이브 또는 네트워크 영상과 사전 녹화된 영상의 평면에 동일한 접근 방식을 사용할 수 있었습니다. 버크는 이렇게 덧붙입니다. “팀이 과거에는 컴포셔 컴포지터를 자체 개발했지만, 이번에는 컴포셔 컴포지터를 차용하여 빠듯한 일정에도 고퀄리티 리얼타임 키어로 여러 엘리먼트를 손쉽게, 보기 좋게 만들 수 있었습니다.”
언리얼 엔진의 플러그인 아키텍처 덕분에 버크와 리드 개발자 피터 구세프(Peter Gusev)는 재사용 가능한 컴포넌트도 개발할 수 있었습니다. 이러한 접근 방식으로 귀중한 시간이 절약되었을 뿐 아니라 학생들에게 위치 재지정, 영상 평면 함수 기능, 외부 OSC 제어와 같은 특정 작업용 플러그인을 작업하도록 요청할 수 있었습니다. 각 컴포넌트가 동일한 보일러플레이트 코드에 기초해 있어 학생들은 배시 스크립트를 사용하여 자신만의 플러그인을 생성할 수 있었습니다.
새로운 현실
증강현실 기술로 작업한다는 것은 팬데믹 동안에도 팀이 공연 제작을 계속할 수 있었다는 의미이기도 했습니다. 우수한 서브레벨을 구성하고, 에셋을 세심하게 관리하고, 플러그인에 매진한 덕분에 REMAP은 원격 팀 전반에 걸쳐 협업형 워크플로를 확보할 수 있었습니다. 공연장에 발을 들이지 않아도 완전한 가상 공연장을 만들 수 있었기에, 코로나19 팬데믹이 전 세계를 휩쓰는 동안에도 팀의 세트 제작과 공연 디자인에는 거의 영향이 없었습니다. 배우 오디션조차도 각자의 집에서 직접 촬영한 영상을 가상 환경에 배치하여 치를 수 있었습니다.
UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
훌륭한 증강현실 제작에 필수인 광범위한 프리비즈 프로세스 덕분에, 팬데믹이 한창이라 물리적으로 세트에 접근할 수 없는 동안에도 팀은 3D 및 실제 엘리먼트의 상호작용 방식을 파악할 수 있었습니다. 세트를 사용할 수 있게 되자 팀이 해야 했던 일은 처음부터 다시 디자인하는 것이 아니라 그저 모든 것이 예상대로 작동하는지 확인하는 것뿐이었습니다.
프로젝트의 언리얼 엔지니어 겸 조명 디자이너 벤 컨랜(Ben Conran)은 말합니다. “프리비즈는 사회적 거리두기 때문이든, 접근성 때문이든 필수가 되었습니다. 저희는 현장에 갈 수 없는 연출가나 출연진을 위해, 혹은 시간이 부족할 때 제작 절차를 건너뛰기 위해 증강현실로 보여주는 프리비즈에 크게 의존하게 되었습니다. 그린 스크린에서 배우의 증강현실 연기를 촬영할 때도 리얼타임 프리비즈 덕분에 조명을 증강현실 공간의 톤에 맞게 조정할 수 있었으며, 촬영 도중에도 연출자가 연기를 수정하고 다듬을 수 있었습니다.”
프로젝트의 언리얼 엔지니어 겸 조명 디자이너 벤 컨랜(Ben Conran)은 말합니다. “프리비즈는 사회적 거리두기 때문이든, 접근성 때문이든 필수가 되었습니다. 저희는 현장에 갈 수 없는 연출가나 출연진을 위해, 혹은 시간이 부족할 때 제작 절차를 건너뛰기 위해 증강현실로 보여주는 프리비즈에 크게 의존하게 되었습니다. 그린 스크린에서 배우의 증강현실 연기를 촬영할 때도 리얼타임 프리비즈 덕분에 조명을 증강현실 공간의 톤에 맞게 조정할 수 있었으며, 촬영 도중에도 연출자가 연기를 수정하고 다듬을 수 있었습니다.”
UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
사람들이 대규모로 모일 수 없는 팬데믹의 제약에 맞게 라이브 공연을 조정해야 하는 작은 문제도 있었습니다. 학생들은 긴 토론 끝에 여러 관객의 휴대폰으로 각 씬을 실시간 녹화하여 나중의 시청자들은 공연장에서와 동일하게 무엇을 볼지 선택하도록 하기로 했습니다. 이렇게 결정한 후 학생들은 인터랙티브 영상 스트림으로 작품을 기록하여 시청자가 어느 관객의 카메라로 볼지 선택할 수 있게 했습니다.
UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
다음으로, 사운드 스튜디오로 구성된 대형 극장 무대에서 모든 연기가 이루어졌습니다. 각 스토리라인에는 별개의 물리적 세트 1~2개가 배정되었고, 각각 상응하는 증강현실 세트가 배정되어 관객이 같은 것을 보고 듣는 일 없이 같은 공간에서 다른 타임라인을 보도록 했습니다.
실시간 녹화 방식은 여러 씬이 동시에 진행되는 것이 아니라, 표준 설치 및 연극 기법을 통해 음향이 격리되고 관객은 막간 씬에서 이야기에 재진입할 지점을 선택할 수 있다는 의미입니다.
이렇게 인정하긴 했지만, 버크는 실제와 증강현실 공연 사이의 어쩔 수 없는 거리가 연극에 강렬한 감정적 층위를 더했고, 두 세계의 분리된 느낌이 주제와 멋지게 조화를 이룬 것도 사실이라고 말합니다. 물론 멋진 공연을 하는 것이 팀의 유일한 목표는 아니었습니다. 증강현실을 이야기에 통합하는 것이 창작 프로세스와 관객 경험에 어떤 영향을 주는지도 알아보고 싶었습니다. 그리고 크게 세 가지를 깨달았습니다.
첫째, 증강현실은 분명히 몰입감 있는 공연에 효과적으로 통합될 수 있으며 관객을 참여시키는 새롭고 흥미로운 접근 방식이 될 수 있다는 것입니다. 증강현실 기술은 몇 년 안에 상업적으로 성공 가능한 수준의 경험을 제공할 수 있을 것으로 보입니다. 둘째, REMAP은 이 작업의 결과물과 프로젝트 관계자들과의 많은 대화를 통해 증강현실 기술 활용이 가상 세계와 현실 세계 모두에서 어떤 형태로든 장점이 있다는 사실을 검증했습니다. 그래서 증강현실 기술은 단순한 흥밋거리를 넘어 극의 중심이 되었고, 캐릭터와도 연관성이 있었습니다.
실시간 녹화 방식은 여러 씬이 동시에 진행되는 것이 아니라, 표준 설치 및 연극 기법을 통해 음향이 격리되고 관객은 막간 씬에서 이야기에 재진입할 지점을 선택할 수 있다는 의미입니다.
공연의 시작
결국 공연의 관객은 공연 관계자의 밀접한 지인으로서 공연을 알게 된 사람들과 작품에 대해 알지 못했지만 실시간 녹화 프로세스에 참여하게 된 게스트로 이루어졌습니다. 버크는 말합니다. “한 가지 일관된 교훈은 라이브 경험이란 매우 매력적인 것이며 아무리 노력해도 녹화로 전달하기가 상당히 어렵다는 사실이었습니다.”이렇게 인정하긴 했지만, 버크는 실제와 증강현실 공연 사이의 어쩔 수 없는 거리가 연극에 강렬한 감정적 층위를 더했고, 두 세계의 분리된 느낌이 주제와 멋지게 조화를 이룬 것도 사실이라고 말합니다. 물론 멋진 공연을 하는 것이 팀의 유일한 목표는 아니었습니다. 증강현실을 이야기에 통합하는 것이 창작 프로세스와 관객 경험에 어떤 영향을 주는지도 알아보고 싶었습니다. 그리고 크게 세 가지를 깨달았습니다.
첫째, 증강현실은 분명히 몰입감 있는 공연에 효과적으로 통합될 수 있으며 관객을 참여시키는 새롭고 흥미로운 접근 방식이 될 수 있다는 것입니다. 증강현실 기술은 몇 년 안에 상업적으로 성공 가능한 수준의 경험을 제공할 수 있을 것으로 보입니다. 둘째, REMAP은 이 작업의 결과물과 프로젝트 관계자들과의 많은 대화를 통해 증강현실 기술 활용이 가상 세계와 현실 세계 모두에서 어떤 형태로든 장점이 있다는 사실을 검증했습니다. 그래서 증강현실 기술은 단순한 흥밋거리를 넘어 극의 중심이 되었고, 캐릭터와도 연관성이 있었습니다.
UCLA 연극·영화·방송 대학 / UCLA 엔지니어링·미디어·공연 연구센터(REMAP) 이미지 제공
마지막으로 팀은 이러한 형식이 관객에게 흥미진진한 방식으로 진행되는 선형적 스토리라인의 균형에 대한 수많은 논제와 아이디어를 제공하고, 탐구할 기회를 만든다는 사실을 발견했습니다.
버크는 말합니다. “언리얼 엔진을 중심으로 프로젝트를 제작하면, 멀티 플랫폼 및 멀티 유저 경험이 만들어지며 연극, 게임, 영화, 영상의 경계가 흐려집니다. 언리얼 엔진은 아주 정교하고도 접근성이 좋기 때문에 REMAP은 장기적으로 다양한 종류의 프로젝트에 이 툴을 활용할 예정입니다.”
이제 버크는 휴고상을 수상한 이중 도시(The City and The City)를 UCLA의 증강현실 및 몰입형 연극 프로젝트로 각색하기 위한 허가를 받았습니다. 최혜국과 비슷하게 이 프로젝트에서도 교직원과 학생이 협업하고, 현실과 증강현실 요소 모두 언리얼 엔진으로 구축할 계획입니다.
버크는 이렇게 덧붙입니다. “프리비즈 워크스테이션, 증강현실 모바일 디바이스, 그 외 어떤 참여 디바이스로 접근하느냐에 따라 다양한 요소의 선택적 비저빌리티를 제공한다는 단일 환경을 구축한다는 것은, 즉석에서 새로운 워크플로를 형성하고 신속하게 문제를 해결할 수 있음을 의미합니다. 저희는 더욱 효과적으로 작업할 수 있었으며 관객은 캐릭터와 함께 완전히 새로운 평행 세계를 공유할 뿐 아니라 그 안에서 스스로 선택도 할 수 있었습니다. 이제 다른 방식은 상상할 수조차 없습니다. 너무나도 매력적인 경험이 만들어졌고, 완전히 새로운 경험이었다는 피드백을 적잖이 받았습니다.”
버크는 말합니다. “언리얼 엔진을 중심으로 프로젝트를 제작하면, 멀티 플랫폼 및 멀티 유저 경험이 만들어지며 연극, 게임, 영화, 영상의 경계가 흐려집니다. 언리얼 엔진은 아주 정교하고도 접근성이 좋기 때문에 REMAP은 장기적으로 다양한 종류의 프로젝트에 이 툴을 활용할 예정입니다.”
이제 버크는 휴고상을 수상한 이중 도시(The City and The City)를 UCLA의 증강현실 및 몰입형 연극 프로젝트로 각색하기 위한 허가를 받았습니다. 최혜국과 비슷하게 이 프로젝트에서도 교직원과 학생이 협업하고, 현실과 증강현실 요소 모두 언리얼 엔진으로 구축할 계획입니다.
버크는 이렇게 덧붙입니다. “프리비즈 워크스테이션, 증강현실 모바일 디바이스, 그 외 어떤 참여 디바이스로 접근하느냐에 따라 다양한 요소의 선택적 비저빌리티를 제공한다는 단일 환경을 구축한다는 것은, 즉석에서 새로운 워크플로를 형성하고 신속하게 문제를 해결할 수 있음을 의미합니다. 저희는 더욱 효과적으로 작업할 수 있었으며 관객은 캐릭터와 함께 완전히 새로운 평행 세계를 공유할 뿐 아니라 그 안에서 스스로 선택도 할 수 있었습니다. 이제 다른 방식은 상상할 수조차 없습니다. 너무나도 매력적인 경험이 만들어졌고, 완전히 새로운 경험이었다는 피드백을 적잖이 받았습니다.”
지금 언리얼 엔진을 다운로드하세요!
세계에서 가장 개방적이고 진보된 창작 툴을 받아보세요.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.
모든 기능과 무료 소스 코드 액세스를 제공하는 언리얼 엔진은 제작에 바로 사용할 수 있습니다.