Carolina Panthers 경기에서 관중들에게 놀라움을 자아낸 혼합현실

몰입형 디스플레이의 핵심 파트너 중 한 곳인 더 페이머스 그룹(The Famous Group)의 CIO 겸 공동 설립자 그렉 하비(Greg Harvey)는 말합니다. “혼합현실은 놀라움을 자아내게 하는 힘이 있습니다. 팬들은 ‘방금 그거 뭐였어?’하고 깜짝 놀라는 순간을 경험하죠. 이게 어떻게 가능한지, 어떻게 디지털 크리처가 현실과 상호작용하는지 알지 못하죠.”

영화 쥬라기 공원(Jurassic Park) 1편의 티라노사우루스처럼 잘 만들어진 혼합현실 경험은 상상력을 자극하고 현실과 가상의 경계를 모호하게 만든다고 하비는 설명합니다. 팬서스의 팬들은 경기 시작 직전에 나타난 MR 표범에 환호를 보냈습니다. 하비는 이야기합니다. “표범이 포효하자마자 팬들이 열광하며 소리를 지르기 시작했습니다. 전광판에 기존 콘텐츠를 내보냈을 때보다 훨씬 격렬한 반응이었죠.”

제이크 번스(Jake Burns)는 팬들의 반응이 기대 이상으로 좋다고 느꼈습니다. 캐롤라이나 팬서스의 모기업인 테퍼 스포츠 & 엔터테인먼트(Tepper Sports & Entertainment)의 최고매출책임자를 맡고 있는 번스는 말합니다. “저희는 항상 시합이 있는 날 팬들을 위한 새롭고 혁신적인 경험을 구상합니다. 혼합현실 표범에 대한 반응은 저희가 예상했던 것보다 더 좋았습니다. 정말 대단했죠.”

눈앞으로 다가온 혼합현실 이벤트

하비는 현재 이루어지고 있는 것들이 리얼타임 기술과 라이브 이벤트의 결합에 내재된 잠재력에 비하면 빙산의 일각이라고 믿습니다. 하비는 말합니다. “지각변동이 일어나고 있습니다. 몰입형 경험은 라이브 이벤트 업계의 미래이며 그 형식이 증강현실, 가상현실, 혼합현실 중 하나일지, 이런 기술들의 조합일지, 아니면 완전히 새로운 기술일지는 시간이 흐르면 분명해질 것입니다.”

더 페이머스 그룹은 이러한 변화를 2019년에 예견했습니다. 이 회사의 첫 언리얼 엔진 프로젝트는 볼티모어 레이븐스(Baltimore Ravens)를 위한 혼합현실 라이브 경험이었습니다. 가상의 까마귀가 하늘에서 내려와 레이븐스 M&T 뱅크 경기장(Ravens’ M&T Bank Stadium) 끝에 있는 실제 골대에 앉는 것이었죠.

이를 시작으로 더 페이머스 그룹은 마이애미에서 열린 하드록 경기장(Hard Rock Stadium)의 슈퍼 볼 LIV(Super Bowl LIV)와 휴스턴 텍산스(Houston Texans)의 홈 구장인 NRG 경기장(NRG Stadium)에 설치된 회사 최초의 영구 혼합현실 설치물 등 수많은 MR 프로젝트를 담당했습니다.

눈길을 끄는 몰입형 기술의 힘은 캐롤라이나 팬서스에서도 발휘되었습니다.

하비는 이야기합니다. “대화를 하던 중 이런 얘기가 나왔죠. ‘이 기술로 경기장 밖에 있는 표범 조각상 하나를 움직이게 해서 그 표범이 상대 팀을 위협하게 하면 어떨까? 그러면 멋지지 않을까? 까마귀 때와 비슷하지만 한 차원 높은 경험이 되지 않을까?’ 그렇게 해서 MR 표범이 첫 홈 경기에 데뷔하여 인터넷을 열광의 도가니에 빠뜨리게 되었죠!”

표범을 구현하기 위해 트루포인트 레이저 스캐닝(TruePoint Laser Scanning)은 경기장 전체와 바깥의 표범 조각상을 3D 스캔했습니다. 이를 통해 표범 및 표범과 상호작용할 모든 물리적 요소의 실물 크기 모델을 얻을 수 있었습니다.

그런 다음 조익 스튜디오(Zoic Studios)의 애니메이션 팀은 이 경기장의 3D 모델을 바탕으로 표범의 경로를 구상하고 카메라 감독이 이 움직임을 어떻게 실시간으로 포착할지 프리비즈했습니다.

조익 스튜디오에서는 표범이 점수판으로 점프하고, 원정 팀의 깃발을 잡고, 깃발을 물어뜯은 다음 맹렬하게 포효하고 경기장을 떠나기까지의 모든 움직임을 만들었습니다. 조익 리얼타임 그룹(Zoic Real Time Group)의 CG 감독인 스콧 로즈크랜스(Scott Rosekrans)는 말합니다. “깃발이 핵심 요소였는데, 기존 렌더링 기술을 사용했다면 수십 번의 반복작업을 거쳐야 했을 것입니다.”

표범의 포효를 제작한 필드 데이 사운드(Field Day Sound) 팀은 PA 스피커에서 울려퍼지는 사운드 이펙트가 개방된 야외 경기장에서도 메아리를 치는 것처럼 들리게 했습니다.

더 페이머스 그룹은 트래킹 시스템과 미디어 서버 시스템을 현장의 물리적 장비의 일부로 구현하여 팀의 방송 조정실에 통합할 수 있도록 구축했습니다. 혼합현실 조정실의 현장 분위기는 이 영상에서 확인할 수 있습니다.

퀸스 이미징(Quince Imaging)은 이 하드웨어의 영구 설치에 대한 자문과 전략을, 스타이프(stYpe)는 AR 데이터 출력용 인코더를 비롯한 카메라 헤드를 제공했습니다. 두 회사는 모든 컴포넌트가 연결되어 경기장 내에서 서로 커뮤니케이션하도록 하는 일을 맡았습니다.

트래킹 시스템은 각 카메라 위치에서 모든 패닝, 기울이기, 초점, 확대 및 축소 데이터를 실시간으로 캡처하고 그 정보를 미디어 서버로 보냅니다. 미디어 서버는 트래킹 데이터를 수집하고 버추얼 카메라를 업데이트하여 물리적 카메라의 실제 위치와 동일하게 미러링합니다. 그러면 라이브 카메라 피드에 트래킹된 애니메이션이 오버레이되어 실시간으로 표범 애니메이션이 합성됩니다.

픽소토프(Pixotope)를 언리얼 엔진으로 통합하여 가상 경기장을 실제 경기장에 딱 맞게 조정함으로써 표범을 구현하면서 움직임과 접촉 지점을 아주 정밀하게 제어할 수 있습니다.

하비는 또한 디지털 세계가 근본적인 변화를 맞이하는 중이며, 게임 엔진 기술이 그 진화의 핵심 역할을 맡을 것이라고 믿습니다. 그는 이렇게 말합니다. “언리얼 엔진은 미래에 생겨날 모든 형태의 메타버스를 만드는 데 사용될 것이라고 생각합니다. 이 업계에서는 디지털 트윈과 가상 경험이 미래입니다. 증강현실, 가상현실, 혼합현실, 메타버스는 모두 게임 엔진을 통해 실현되고 있으며, 앞으로도 그럴 것입니다.”

리얼타임 기술이 주도하는 이러한 경험은 갈수록 인터랙티브해질 것입니다. 하비는 말합니다. “언리얼 엔진은 이러한 발전을 앞장서서 주도하고 있습니다. 저희는 리얼타임 레이어를 라이브 이벤트에 적용하고 콘텐츠 에셋이 전광판에서 나와 혼합현실 시스템, 모바일 웹 AR 경험, 웹 기반 리얼타임 디지털 트윈으로 이동해 가는 미래를 그리고 있습니다. 언리얼은 이 모든 가능성을 실현할 것입니다!”

팬들이 이러한 몰입형 라이브 경험에 실시간으로 참여하고 적극적으로 컨트롤할 수 있게 되면 완전히 새로운 창의적 표현의 세계가 열릴 것입니다. 하비는 이야기합니다. “지금은 영화 레디 플레이어 원(Ready Player One)의 초반 몇 분 정도에 해당하는 셈입니다. 이 세계는 우리가 상상도 하지 못할 방식으로 증강될 것이며 새로운 몰입형 세상으로 나아갈 추진력은 언리얼과 같은 게임 엔진으로부터 나올 것입니다.”