Transformando a animação 2D de Os Vizinhos Green em 3D na Unreal Engine

O especial de Os Vizinhos Green põe a família em um dilema, quando Cricket Green fica preso em uma nevasca e incapaz de voltar para sua família em tempo para o Natal.

Por sorte, Remy, o amigo de Cricket, tem uma solução: a família pode comemorar em conjunto dentro do novo jogo de realidade virtual do Remy. "Isso nos deu a oportunidade de misturar a narrativa 2D tradicional com a narrativa 3D em tempo real, e é uma jornada que os próprios personagens entram ao explorar o mundo virtual", explica Kaki Navarre, vice-presidente de engenharia de software em tecnologia da Disney.

Ao converter a animação do 2D para o 3D, você enfrenta muitos desafios, tanto técnicos quanto artísticos. A versão 3D dos personagens deve ser fiel aos recursos visuais originais em 2D.

"Nós queríamos garantir que os Greens não perdessem sua identidade e que fossem reconhecíveis tanto em design quanto em movimento", diz Jennifer Burchfield, supervisora de animação 3D na Disney.

O projeto foi planejado com um pipeline em tempo real baseado na Unreal Engine, mas o estilo de arte do episódio precisava de uma abordagem diferente de uma engine com base física. Uma que fosse mais estilizada do que fotorrealista.

Inspirados por stop-motion e ilustrações, a equipe desenvolveu um visual que começou a se unir com diversas técnicas de arte e animação. Para isso, foi necessário um guia de estilo para manter uma consistência que definiria o projeto: da interação de luzes e sombras com os personagens à forma como o reflexo em superfícies deveria ser.

A equipe também utilizou muito borrões geométricos. A técnica de borrar quadros é usada por animadores 2D em objetos em movimento, e consiste em criar várias cópias desse objeto atrás dele, quase como um borrão. É uma técnica que traz a ilusão de movimento contínuo. "Essa abordagem nos deixou mais próximos de algo como Minduim ou Homem-Aranha: No Aranhaverso", diz Burchfield. "Nós fizemos tudo sem desfoque de movimento, assim o episódio ficaria mais estilizado".

O primeiro passo para realizar essas técnicas está no rig dos personagens. A equipe criou os rigs no Maya, importando-os para a engine a fim de conferir a pré-visualização da animação usando o Control Rig.

Os dados eram incorporados em uma sequência de animação e exportados como arquivos FBX para os animadores finalizarem no Maya. "Nós queríamos criar esse estilo de animação distorcida sem usar edições fora da engine", diz Evan Binder, supervisor de pipeline e animador 3D na Disney.

"Por motivos de desempenho, ficamos com o FBX, por funcionar bem com o Control Rig e por facilitar a exposição desses controles para nossos artistas modificarem em seguida na engine".

Com as últimas etapas no Maya prontas, todo o projeto foi importado de volta à engine para que a equipe pudesse vê-lo por completo, adicionar borrões de quadros na engine e realizar qualquer mudança necessária. "Ao importá-lo de volta à engine, ele aparece em seu set", diz Droste. "Você olha para o projeto com iluminação e consegue ver como ele vai ficar na entrega final. Então, a iteração continua e o ciclo é tão rápido que é possível tomar decisões rápidas".

"Você não está trabalhando em um contexto final de como seu trabalho será visto, então há muitas incertezas e verificações. Muitas mudanças que podem demorar dias, semanas ou até meses para mostrar algum resultado. Quando você está trabalhando em tempo real, o processo é muito mais direto. Você consegue ver seu impacto quase que imediatamente".

Na maioria das vezes, essa sensação foi muito bem recebida e animou a equipe. Quando departamentos separados conseguem trabalhar juntos simultaneamente, as atualizações se tornam uma experiência muito gratificante. Normalmente, aquele processo começaria com cubos, cilindros e recursos pré-visualizados e criados por diretores cinematográficos. Agora, tudo isso pôde ser desenvolvido durante o layout enquanto os recursos finais estavam em desenvolvimento. Assim, a equipe podia usar Blueprints, aninhar subníveis, esculpir cenários e objetos e, assim, manter a produção em movimento para os setores de animação, cinematografia, iluminação e tecnologia. Quando os modelos ficavam prontos, eles eram substituídos ou atualizados com facilidade na engine.

"Sempre que sincronizávamos os arquivos no Perforce e reproduzíamos o projeto reaberto no Sequencer, era como se um novo presente estivesse nos esperando", diz Christina Douk, supervisora de recursos 3D na Disney. "Isso tornou o trabalho na engine muito mais interessante e divertido, e manteve a produção inspirada à medida em que seguíamos em frente".

Ferramentas de cinematografia 3D em tempo real

As ferramentas de cinematografia da Unreal Engine possuem o que você encontraria em um set físico. Ainda no começo do projeto, Droste foi à engine e rascunhou a história sozinho. "Foi ótimo. Eu consegui construir minhas ideias na engine de imediato", afirma.

"É um projeto enorme em que podemos realizar modificações rápidas e que seriam impossíveis em um pipeline tradicional, graças a uma suíte centralizada de criação de conteúdo como a Unreal", explica Andy Wood, diretor de tecnologia e mídia em tempo real na Disney.

É muito prático poder fazer ajustes de última hora, ainda mais quando uma mudança significativa é solicitada ao final da produção. "Nós queríamos refazer uma sequência bem longa, e isso normalmente resultaria em uma série de problemas e vários atrasos", diz Droste. "Mas eu pude sentar com o supervisor do programa e refazer toda a sequência em apenas duas horas na Unreal Engine".

Um pipeline de conteúdo multiplataforma

A Disney sempre foi além em relação à tecnologia de animação. Suas equipes de tecnologia costumam expandir os limites do que é possível na visualização em tempo real. Então, utilizar a tecnologia em tempo real para o especial "Natal Virtual" era uma evolução natural. "À medida em que a tecnologia evolui, você fica se perguntando: como podemos ter mais contexto mais rapidamente? Como podemos trabalhar de formas mais inovadoras?" pergunta Wood. "Fez sentido explorar a tecnologia em tempo real para um projeto desse nível".

A Disney usa a tecnologia em tempo real no especial "Natal Virtual" como parte de um escopo maior. As equipes criativas e de tecnologia da empresa começaram a explorar o uso de fluxos de trabalho em tempo real em outras áreas, como produção virtual, interação de conteúdo, visualização de dados e mais. Com departamentos criando conteúdo em tempo real em conjunto, uma possibilidade curiosa surge: a oportunidade de criar um pipeline de conteúdo multiplataforma.