Conheça MAVE:, as estrelas virtuais do K-pop criadas com o MetaHuman e a Unreal Engine

P: Imagino que a primeira etapa de MAVE: tenha sido criar os membros do grupo. O que vocês esperavam alcançar com a criação de personagens digitais?

Nossa meta era criar quatro personagens atrativos, cada um com uma aparência totalmente nova, diferente de tudo que já existe. Para criar personagens assim, é preciso ir além da aparência, acrescentando uma grande variedade de expressões faciais para diferentes situações. Por isso, demos prioridade à criação e ao desenvolvimento de um pipeline e de uma tecnologia para atingir esse objetivo.

P: Soube que vocês usaram o MetaHuman para criar os personagens. Por quê?

Como mencionei, além de uma aparência atraente, é muito importante que os personagens acumulem várias expressões faciais detalhadas para diferentes situações. No entanto, criar e modificar essas expressões faciais é uma tarefa demorada e cara, porque sempre envolve animação esquelética e modelagem, além de exigir revisões e verificações iterativas. É por isso que a tecnologia MetaHuman da Epic, desenvolvida com a ajuda de décadas de experiência na criação de humanos digitais, foi a escolha perfeita. Foi uma parte crucial da construção do pipeline para nossos personagens.

Com o rig facial do MetaHuman, conseguimos criar facilmente as expressões faciais que queríamos e compartilhar as animações entre os personagens. Além disso, foi possível focar em R&D (por exemplo, aprimoramento do controle de rig) consultando o artigo Rig Logic: Runtime Evaluation of MetaHuman Face Rigs publicado pela Epic Games. O alto nível de compatibilidade com ferramentas externas, como Audio2Face da NVIDIA, o aplicativo Live Link Face para iPhone, Faceware e FACEGOOD, nos permitiu aplicar a animação do MetaHuman e reduzir drasticamente o tempo de produção, compartilhando a topologia de malha subjacente, UV, estrutura de articulação e controles.

P: Por que vocês escolheram a Unreal Engine e o MetaHuman?

Quando estávamos planejando MAVE:, pensamos muito em como o nosso projeto deveria ser posicionado e nos tipos de atividades das quais gostaríamos que a banda virtual participasse. A produtividade do nosso conteúdo era o ponto mais importante. Ter muitas atividades significa produzir muito conteúdo, e isso exige eficiência. Caso contrário, é possível que a qualidade visual seja comprometida. Por isso, escolhemos a Unreal Engine não só pela eficiência, mas também pela qualidade da renderização em tempo real. Usamos a Unreal Engine para ampliar os limites das atividades de MAVE: em várias áreas, incluindo a produção de um vídeo musical transmídia em um curto espaço de tempo, atividades em redes sociais, bem como programas de TV e comerciais.

As redes sociais são um canal importante para interagir e criar vínculos. No entanto, para que isso aconteça, é preciso produzir conteúdo de alta qualidade em diferentes formatos e em quantidades variadas. Isso foi o que nos levou a escolher a Unreal Engine em vez de outras ferramentas. Usando a Unreal Engine, conseguimos criar conteúdo em vários formatos, como imagens fotorrealistas e vídeos para interação com os fãs em diferentes plataformas sociais.

P: Que tipo de pipeline foi usado para criar os personagens de MAVE:?

A equipe de criação de MAVE: é formada por talentosos profissionais provenientes de diversos setores, como cinema e jogos, o que significa que todos os membros da equipe já usaram ferramentas de criação de conteúdo digital, dependendo de suas especialidades. Por exemplo, os membros advindos do setor de jogos estão familiarizados com a renderização em tempo real, enquanto os do setor de M&E acumulam experiência na produção de mídia de vídeo. Por isso, criamos um pipeline especial para maximizar a sinergia entre cada membro da equipe.

O pipeline consiste em planejar e criar os personagens. A criação de personagens é dividida em etapas detalhadas, como modelagem, criação de expressão facial e animação esquelética, criação de cabelo e calibração do corpo.

No planejamento, por outro lado, projeta-se a aparência de cada personagem. Esse processo foi conduzido em estreita colaboração com os especialistas da Kakao Entertainment, que acumulam vasta experiência no planejamento bem-sucedido de bandas de K-pop. No entanto, nas tradicionais bandas de K-pop, os membros são selecionados de um grupo existente de aprendizes e a aparência deles é finalizada com maquiagem e troca de figurino. Mas, para bandas virtuais, temos que criar humanos virtuais com visuais complemente novos e atraentes não só no que diz respeito à aparência, mas também em relação a expressões faciais, movimentos, padrões de fala e assim por diante.

Para preencher essa lacuna e oferecer um ambiente de trabalho semelhante ao ambiente original da equipe de planejamento, a equipe de produção criou um pipeline que usa uma rede GAN para gerar automaticamente imagens de destino e modificar ou combinar autovetores de forma manual. Isso permitiu que a equipe de planejamento selecionasse um personagem existente e modificasse seus parâmetros para se adequar aos planos, em vez de ter que criar a aparência de um personagem do zero. A equipe de planejamento nos ajudou compartilhando informações sobre a fórmula de sucesso para bandas de K-pop criada ao longo dos anos.
 

Nas etapas de criação e modificação de expressões faciais, utilizamos nossa própria ferramenta que analisa o modelo e gera automaticamente cerca de 800 expressões faciais, além de empregar informações sobre a posição e o tamanho de cada área, o fluxo muscular e assim por diante. O processo é semelhante às funcionalidades que geram de forma automática expressões faciais quando você insere um tipo de malha básica, como o Mesh to MetaHuman Plugin. Desenvolvemos nossa própria ferramenta porque o Mesh to MetaHuman Plugin ainda não tinha sido lançado, mas ele foi muito útil na modificação do algoritmo e na criação de um pipeline automatizado.

Além disso, criamos uma funcionalidade para personalizar expressões faciais exclusivas que refletem a personalidade do personagem, além das expressões faciais padrão. Para acrescentar essas novas expressões faciais, era necessário chegar à animação esquelética adequada, por isso, geramos automaticamente Control Rigs na Unreal Engine e os configuramos para cada personagem.