A tecnologia MetaHuman devolve vida a um xamã de 10.000 anos
16 de junho de 2022
Nosso entendimento da história provém basicamente de artefatos, mas e se a gente pudesse ver as expressões do rosto de um humano antigo? E se pudéssemos realmente vê-lo mexer os músculos faciais para expressar surpresa, raiva, medo ou até mesmo sorrir para você? Essas foram as perguntas feitas por Sofija Stefanović, professora de antropologia física no setor de arqueologia na Universidade de Belgrado, e pela equipe dela no momento que estavam prestes a fazer a reconstrução inovadora do rosto de um xamã de 10.000 anos no famoso sítio arqueológico de Lepenski Vir, na Sérvia.
A 3Lateral, um desenvolvedor líder na tecnologia de humanos digitais com sede na Sérvia, e agora parte da Epic Games, colaborou com Stefanović no projeto. A equipe da 3Lateral tem trabalhado junto com os colegas da Cubic Motion, outro integrante da família Epic Games, e com a equipe da Unreal Engine para desenvolver o framework do MetaHuman, que lançou no ano passado o aplicativo MetaHuman Creator baseado em nuvem, gratuito e com acesso antecipado. O MetaHuman Creator permite que qualquer um crie humanos digitais únicos e de alta-fidelidade em questão de minutos, derivados dos dados inseridos na base de dados.
A atualização mais recente do MetaHuman, no entanto, não trouxe apenas novos recursos ao MetaHuman Creator, mas também lançou um novo MetaHuman Plugin para a Unreal Engine. O primeiro recurso-chave do plugin é o Mesh to MetaHuman, que compartilha a tecnologia principal usada para reanimar o xamã. O desenvolvimento empolgante, agora acessível gratuitamente para todo mundo, permite que você crie um MetaHuman a partir do seu modelo personalizado e conclua projetos do tipo sem ter conhecimento especializado.
A atualização mais recente do MetaHuman, no entanto, não trouxe apenas novos recursos ao MetaHuman Creator, mas também lançou um novo MetaHuman Plugin para a Unreal Engine. O primeiro recurso-chave do plugin é o Mesh to MetaHuman, que compartilha a tecnologia principal usada para reanimar o xamã. O desenvolvimento empolgante, agora acessível gratuitamente para todo mundo, permite que você crie um MetaHuman a partir do seu modelo personalizado e conclua projetos do tipo sem ter conhecimento especializado.
Reconstrução facial física por técnicas tradicionais
O assentamento de Lepenski Vir, na Sérvia Oriental, que fica nas margens do Rio Danúbio, foi descoberto por volta de 1960. É um sítio de grande significado histórico, pois denota os primeiros estágios de desenvolvimento da cultura pré-histórica europeia. Cerca de 500 esqueletos foram descobertos no sítio, incluindo aquele que veio a ser conhecido como "o xamã" graças à posição de lótus incomum, com pernas cruzadas, em que ele foi encontrado. Acredita-se que ele tenha vivido por volta de 8.000 a.C. A partir do esqueleto, os especialistas da equipe foram capazes de determinar a altura, o peso e até mesmo que ele viveu basicamente em uma dieta de frutos do mar.Para começar a reconstrução, a equipe precisava criar uma réplica física exata do crânio pré-histórico a fim de preservar sua integridade original. Sob a orientação do arqueólogo Jugoslav Pendić, do Instituto BioSense em Novi Sad, na Sérvia, a equipe começou a recriar as características faciais pré-históricas do xamã ao capturar milhares de imagens em 2D por meio de uma câmera de quadro completo. Elas foram importadas para o RealityCapture no intuito de fazer um modelo virtual em 3D, que depois foi impresso em 3D para produzir um modelo físico.
A cópia do crânio foi passada para Oscar Nilsson, perito forense e arqueólogo sueco, especialista na reconstrução de modelos de rostos antigos para museus em todo o mundo. Nilsson começou a fazer a reconstrução facial forense adicionando músculos e camadas de pele usando argila, determinando a espessura de acordo com gênero, idade, etnia e peso estimado do indivíduo.
Transformação de malha estática em modelo animável
Para dar vida ao modelo do xamã, a reconstrução de argila, ainda sem texturas de pele e cabelo, foi redigitalizada usando o Peel e reconstruída com o RealityCapture para criar o modelo digital. Com textura básica para pele e olhos aplicada, necessária para a próxima etapa, havia chegado a hora de passar a malha pelo processo do Mesh to MetaHuman.Ao usar o rastreamento de reconhecimento automatizado na Unreal Engine 5, o Mesh to MetaHuman pôde fazer o modelo topológico MetaHuman com base na digitalização do xamã. A nova malha foi enviada para a nuvem, onde foi combinada a um MetaHuman com geometria facial e proporções similares às do xamã e vinculada automaticamente ao rig facial do MetaHuman. A tecnologia usou as extensas bases de dados das digitalizações de expressões de humanos reais do MetaHuman Creator para produzir "expressões estimadas estatisticamente" para o rosto antigo, ao mesmo tempo preservando os detalhes para manter a semelhança original. Descubra mais sobre como o processo funciona neste tutorial.
Após a conclusão do processo, o personagem foi aberto no MetaHuman Creator. Logo depois, a equipe apertou o botão de reprodução e viu o xamã ganhar vida por meio das várias animações pré-definidas que o aplicativo oferece.
Refinamento de imagem com MetaHuman Creator
Em seguida, numa sessão colaborativa de arqueólogos, peritos forenses e um criador de personagens do MetaHuman, a equipe refinou a aparência dos pelos faciais do xamã e das características da pele no MetaHuman Creator. A análise do DNA disponível sugeriu que ele teria uma pele mais escura, cabelos morenos e olhos castanhos. "Podemos estimar a cor da pele, do cabelo e dos olhos com mais de 90% de precisão", afirma Stefanović.
Rugas e cabelos brancos foram adicionados com base na idade estimada, dentes ajustados conforme o crânio e o estilo de cabelo e barba se baseou nas ferramentas viáveis (como conchas) e disponíveis no período de 8.000 a.C.
Após a conclusão da aparência digital do xamã, Nilsson aplicou o mesmo estilo ao modelo físico para completar a reconstrução em 3D tradicional.
"Foi incrível poder usar o MetaHuman tantas vezes, pois normalmente eu faria todo o trabalho à mão, o que é bem caro e exige muito tempo", diz Nilsson. "Mas poder fazer isso de forma digital é revolucionário."
Após a conclusão da aparência digital do xamã, Nilsson aplicou o mesmo estilo ao modelo físico para completar a reconstrução em 3D tradicional.
"Foi incrível poder usar o MetaHuman tantas vezes, pois normalmente eu faria todo o trabalho à mão, o que é bem caro e exige muito tempo", diz Nilsson. "Mas poder fazer isso de forma digital é revolucionário."
Uma interação em tempo real com a história
A equipe colocou o modelo digital na Unreal Engine e criou um ambiente virtual com iluminação realista. O xamã poderia, então, ser animado manualmente com o rig facial do MetaHuman ou pelo aplicativo gratuito Live Link Face, que permite usar o iPhone ou iPad para capturar animação facial e transmitir em tempo real para o personagem na Unreal Engine.Os modelos físico e virtual foram desenvolvidos em conjunto e, por fim, foram exibidos na Dubai Expo 2020 pela plataforma nacional Serbia Creates, que apoiou a realização do projeto. Na exibição, os visitantes capturaram suas próprias expressões com o iPhone e viram a animação digital do xamã espelhada em tempo real na tela.
"Quando ninguém interage, ele boceja e mexe o rosto com base em algumas animações de outros MetaHumans", diz Adam Kovač, especialista em soluções na 3Lateral. "Foi fantástico vê-lo sorrir."
"Quando ninguém interage, ele boceja e mexe o rosto com base em algumas animações de outros MetaHumans", diz Adam Kovač, especialista em soluções na 3Lateral. "Foi fantástico vê-lo sorrir."
Stefanović concorda. "Nunca havíamos tido a oportunidade de ver as expressões de pessoas de outras eras ao demonstrar emoções", diz.
Agora, esta configuração interativa está sendo exibida no Museu Nacional da Sérvia, em Belgrado, junto com a coleção de artefatos da instituição em Lepenski Vir.
O framework do MetaHuman foi recebido com bastante interesse nas indústrias de cinema e jogos, mas o xamã de Lepenski Vir oferece um gostinho de como a tecnologia pode apoiar projetos inovadores em campos mais tradicionais, como arqueologia e análise forense. A equipe espera que essa inovadora reconstrução alimente a imaginação de outros pioneiros a fazerem experimentos em outros espaços. "Vemos equipes explorando os usos em medicina, automação e até pesquisa em psicologia", diz Kovač. "Tudo depende de onde os usuários querem chegar".
Agora, esta configuração interativa está sendo exibida no Museu Nacional da Sérvia, em Belgrado, junto com a coleção de artefatos da instituição em Lepenski Vir.
O framework do MetaHuman foi recebido com bastante interesse nas indústrias de cinema e jogos, mas o xamã de Lepenski Vir oferece um gostinho de como a tecnologia pode apoiar projetos inovadores em campos mais tradicionais, como arqueologia e análise forense. A equipe espera que essa inovadora reconstrução alimente a imaginação de outros pioneiros a fazerem experimentos em outros espaços. "Vemos equipes explorando os usos em medicina, automação e até pesquisa em psicologia", diz Kovač. "Tudo depende de onde os usuários querem chegar".
Pronto para criar seus próprios MetaHumans?
Confira a página do MetaHuman para obter mais informações sobre como se registrar no programa Acesso Antecipado para ver a documentação, os tutoriais e as perguntas frequentes.