Imagem cortesia da Faculdade de Teatro, Cinema e Televisão da UCLA / UCLA REMAP

Construindo uma realidade alternativa em realidade aumentada: a UCLA redefine o teatro com a Unreal Engine

2 de novembro de 2022
O que você faria se tivesse a chance de redefinir uma das histórias distópicas mais famosas de todos os tempos? Para uma equipe de alunos e funcionários do Centro de Pesquisa em Engenharia, Mídia e Performance (REMAP) da UCLA (Universidade da Califórnia, Los Angeles), que conta com uma combinação única de alunos de Teatro e Engenharia, a resposta foi simples: mãos à obra!

Com a ajuda da Unreal Engine, eles decidiram produzir uma peça de teatro original ambientada no mundo de O Homem do Castelo Alto, série da Amazon Studios. Tudo isso enquanto enfrentavam os desafios de uma pandemia global. O resultado foi uma produção de realidade aumentada impressionante que agora está pronta para mudar a experiência do público nos teatros da UCLA pelos próximos anos. 
 
 

Configurando a cena

"Nós nos interessamos pela RA porque ela se alinha aos nossos valores", diz Mira Winick, codiretora de produção. "O REMAP foi construído para incentivar a inovação colaborativa e a criatividade entre alunos e corpo docente. Com a RA, o público também pode se envolver. Alunos, corpo docente e membros da plateia podem ter uma experiência compartilhada única em um espaço que não é físico. Sabíamos que este seria um ótimo meio para um projeto artístico com uma mensagem a ser passada e imediatamente decidimos construir nosso próximo projeto em torno disso.”

Com sua narrativa envolvendo linhas do tempo sobrepostas e temas sociopolíticos prescientes, uma história original ambientada no mundo de O Homem do Castelo Alto parecia uma direção perfeita para um projeto em RA. Tendo sonhado com uma releitura única do romance de 1962 de Philip K. Dick, o REMAP começou a adquirir patrocinadores e se candidatou a uma Epic MegaGrant.

A proposta era de criar uma performance teatral imersiva em RA ambientada no mundo de O Homem do Castelo Alto. Nela, o público usaria um aplicativo de RA chamado The Grasshopper Lies Heavy, permitindo que eles vissem uma história paralela acontecendo em outra linha do tempo. Por exemplo, o público pode ver os atores retratando a realidade opressiva em que as potências do Eixo venceram a Segunda Guerra Mundial bem diante de seus olhos e usar seus dispositivos de RA para vislumbrar um mundo mais parecido com o nosso, onde protestos contra o fascismo começam a inspirar esperança por dias melhores.
Imagem cortesia da Faculdade de Teatro, Cinema e Televisão da UCLA / UCLA REMAP
Além de permitir que a equipe explorasse a RA na Unreal Engine, a MegaGrant também forneceu os recursos para desenvolver vários modelos de plugin para a Unreal Engine. Assim, os alunos poderiam trabalhar de forma colaborativa e sem precisarem estar no mesmo lugar. Isso significava que a equipe poderia começar a construir componentes pré-vis e de RA em dispositivos móveis e estações de trabalho. Assim que a arquitetura do plugin estivesse completa, a produção do projeto, intitulado A Most Favored Nation, poderia começar.
 

Unreal Engine

Primeiro, um pequeno grupo de alunos da UCLA foi selecionado para desenvolver o conceito ao lado de membros experientes do corpo docente e convidados, inclusive um dos designers de produção da série O Homem do Castelo Alto. Embora não sejam programas acadêmicos, os projetos inovadores do REMAP oferecem aos alunos a oportunidade de ingressar em cursos relacionados em diferentes pontos do processo, aprimorando suas habilidades e preparando-os para trabalhar em seus respectivos setores.

Para o A Most Favored Nation, o REMAP convidou alunos de todas as disciplinas teatrais: direção, roteiro, design, direção de palco, atuação e doutores em estudos críticos, para assumirem papéis importantes na produção. "Havia cineastas do nosso curso de cinema orientando sobre a aparência visual e percepção, estudantes de design construindo um protótipo do dispositivo de RA Grasshopper e um dos roteiristas veio do curso de mestrado em roteiro", acrescenta o cofundador do REMAP, Jeff Burke. "Também tivemos alunos envolvidos na produção de software, inclusive usando a Unreal Engine."
Imagem cortesia da Faculdade de Teatro, Cinema e Televisão da UCLA / UCLA REMAP
Embora o REMAP já tivesse usado a Unreal Engine 2.0 antes para uma produção de teatro ao vivo em 2006, a equipe descobriu que a Unreal Engine 4.24 era muito mais acessível do que as versões anteriores, o que significava que alunos com pouca ou nenhuma experiência com a Unreal Engine poderiam aprender seus recursos. "Quando o A Most Favored Nation foi concebido pela primeira vez, decidiu-se que a Unreal Engine forneceria o desempenho, os recursos e a estabilidade necessários para incorporar elementos de RA", diz Burke, explicando que a produção fazia parte de um conjunto de atividades em torno da Unreal Engine na UCLA, que incluiu cursos de pré-visualização de filmes, apresentações virtuais remotas durante a pandemia e ambientes de aprendizagem imersivos.
Imagem cortesia da Faculdade de Teatro, Cinema e Televisão da UCLA / UCLA REMAP
"Os Blueprints provaram ser uma maneira fantástica para o REMAP envolver no uso da Unreal Engine pessoas que não tinham experiência com programação", explica Burke enquanto fala de seus recursos favoritos da Unreal Engine usados no projeto. "A exposição da câmera para a passagem de RA e das máscaras de oclusão dentro do sistema de materiais também foi uma parte vital para criar a aparência desejada." 

O REMAP fez toda a composição do plano de vídeo ao vivo, permitindo que a mesma abordagem pudesse ser usada com vídeos ao vivo ou em rede e planos de vídeo pré-gravados. "A equipe pegou emprestado o compositor Composure depois de desenvolver seu próprio no passado", continua Burke. "Ter um componente de keyframe de alta qualidade em tempo real facilitou vários elementos e os aprimorou mesmo quando o tempo era limitado."

A arquitetura de plugins da Unreal Engine permitiu que Burke e o desenvolvedor líder Peter Gusev também pudessem desenvolver componentes reutilizáveis. Essa abordagem não apenas economizou um tempo valioso, como também permitiu que os alunos trabalhassem em plugins para tarefas específicas, como relocalização fiducial, funcionalidade de plano de vídeo e controle OSC externo. Com cada componente baseado no mesmo código padrão, os alunos puderam gerar seus próprios plugins usando script bash.
 

Uma nova realidade

Trabalhar com tecnologia de RA também permitia que a equipe pudesse continuar trabalhando na apresentação mesmo durante a pandemia. Graças à boa organização de subníveis, gerenciamento cuidadoso de recursos e ênfase em plugins, o REMAP pôde garantir um fluxo de trabalho colaborativo com uma equipe remota. Quando a pandemia do COVID-19 se espalhou pelo mundo, ela não se tornou um obstáculo para a equipe construir cenários e projetar a apresentação, tendo criado um protótipo inteiro sem nunca ter pisado no espaço do espetáculo. Eles conseguiram até testar atores, fazendo com que eles se filmassem em casa, e depois colocando-os no ambiente virtual.
Imagem cortesia da Faculdade de Teatro, Cinema e Televisão da UCLA / UCLA REMAP
No meio da pandemia, o extenso processo de pré-vis necessário para produzir uma ótima RA também significava que a equipe poderia, mesmo sem acessar fisicamente o local de filmagem, compreender como os elementos 3D e da vida real interagiriam. Assim que o local de filmagem ficou disponível, a equipe só precisou confirmar se as coisas funcionavam como esperado, em vez de projetar do zero.

"O pré-vis se tornou essencial tanto do ponto de vista do distanciamento social quanto da acessibilidade", diz o designer de iluminação Ben Conran, que também foi Unreal Engineer no projeto. "Nós dependemos muito do pré-vis para mostrar a RA aos diretores e membros do elenco que não podiam estar no espaço, ou como forma de contornar um procedimento de construção quando o tempo era curto. Ao filmar com tela verde o que seriam as performances de RA do ator, as pré-vis em tempo real nos permitiram combinar e ajustar a iluminação para que se adequasse ao tom dos espaços da RA, e deu ao diretor a chance de editar e refinar as atuações ao vivo durante a filmagem."
Imagem cortesia da Faculdade de Teatro, Cinema e Televisão da UCLA / UCLA REMAP
Havia também a questão de adaptar a apresentação ao vivo às restrições da pandemia que impediam grandes aglomerações de pessoas. Após longas discussões, os alunos decidiram gravar ao vivo em fita cada cena, usando vários celulares do público, dando aos espectadores posteriores a opção do que assistir, assim como fariam no espetáculo. Depois, eles documentaram a peça como uma transmissão de vídeo interativa, permitindo ao espectador escolher a qual câmera do público assistiria.
Em seguida, toda a ação foi realizada em um grande palco teatral que havia sido configurado como palco sonoro. Cada enredo tinha um set de filmagem físico separado, em alguns casos até dois, com um set de RA correspondente para permitir que diferentes linhas do tempo fossem mostradas ao público no mesmo espaço sem que as pessoas vissem e ouvissem a mesma coisa.

Por conta da abordagem ao vivo em fita, as cenas não eram executadas simultaneamente. No entanto, a intenção era de usar a instalação padrão e técnicas teatrais para fornecer isolamento de som, transportando o público por cenas de interlúdio nas quais eles poderiam fazer escolhas sobre onde retornar à história.
 

Hora do show

No final, o público era composto por pessoas que conheciam o show por estarem em isolamento e convidados que não tinham conhecimento da peça, mas vieram participar do processo ao vivo em fita. "Uma conclusão consistente foi a de que a experiência ao vivo era muito interessante e muito difícil de ser transmitida na gravação, por mais que tentássemos", acrescenta Burke.

Apesar disso, Burke também reconhece que a distância obrigatória entre as performances da vida real e da RA adicionou uma camada emocional cativante ao show, e a sensação de dois mundos separados combinou bem com a temática. Claro, o objetivo da equipe não era somente realizar uma grande apresentação. Eles também queriam descobrir como a integração da RA em uma história afetaria o processo criativo e a experiência do público. Eles fizeram três descobertas principais.

Em primeiro lugar, está claro que a RA pode ser efetivamente integrada ao espetáculo imersivo e fornecer uma abordagem nova e interessante para envolver o público. A tecnologia parece estar ao alcance de oferecer experiências comerciais em poucos anos. Em segundo lugar, o REMAP descobriu que os resultados do trabalho e muitas conversas com os envolvidos no projeto validaram o benefício de ter a tecnologia existente de alguma forma no mundo fictício, bem como no mundo real. Isso se tornou algo central para o drama, relevante para os personagens e mais do que apenas um truque cinematográfico.
 
Imagem cortesia da Faculdade de Teatro, Cinema e Televisão da UCLA / UCLA REMAP
Por fim, eles descobriram que esse formato gerou muitas discussões e ideias em torno do equilíbrio de um enredo linear que progride de uma maneira empolgante e interessante para o público, permitindo oportunidades de exploração.

"Construir um projeto em torno da Unreal Engine confunde os limites entre teatro, jogos, cinema e vídeo, criando uma experiência multiplataforma e multiusuário", diz Burke. "A Unreal Engine forneceu um misto tão agradável de sofisticação e acessibilidade que o REMAP está adotando-a para vários tipos de projetos a longo prazo."

Em seguida, Burke tem permissão para adaptar o romance A Cidade e a Cidade, vencedor do Hugo Award, como um projeto de teatro imersivo e de RA na UCLA. Assim como o A Most Favored Nation, este projeto fará com que corpo docente e alunos trabalhem juntos, e o plano é construir todos os elementos da vida real e de RA dentro da Unreal Engine.

"A noção de que tínhamos um único ambiente que oferecia visibilidade seletiva de diferentes elementos, dependendo de você estar em uma estação de trabalho de pré-visualização, um dispositivo móvel de RA ou algum outro dispositivo participante, significava que poderíamos improvisar novos fluxos de trabalho e resolver problemas rapidamente", acrescenta Burke. "Conseguimos trabalhar com mais eficiência, e nosso público pôde compartilhar um novo mundo paralelo com nossos personagens e até mesmo fazer escolhas nesse mundo. Não consigo imaginar trabalhar de outra forma. Isso criou uma experiência cativante e envolvente, e me disseram mais de uma vez que a sensação foi totalmente nova."
 

    Obtenha a Unreal Engine hoje mesmo!

    Obtenha a ferramenta de criação mais aberta e avançada do mundo.
    A Unreal Engine vem totalmente carregada e pronta para produção, com todos os recursos e acesso completo ao código-fonte incluídos.