La tecnología MetaHuman devuelve a la vida a un chamán de 10 000 años
16 de junio de 2022
Nuestra comprensión de la historia proviene principalmente de reliquias, pero ¿y si pudiéramos ver las expresiones en el rostro de un humano antiguo? ¿Qué pasaría si pudiéramos verlo mover sus músculos faciales para reflejar sorpresa, ira o miedo, o incluso para sonreírnos? Esas fueron las preguntas que se planteó Sofija Stefanović, profesora de Antropología Física en el departamento de Arqueología de la Universidad de Belgrado, y su equipo cuando se dispusieron a crear una reconstrucción pionera del rostro de un chamán de 10 000 años de antigüedad del famoso Lepenski Vir, un emplazamiento arqueológico situado en Serbia .
Convenientemente ubicado en Serbia, también se encuentra 3Lateral, un desarrollador líder de tecnología de humanos digitales y, ahora, miembro de Epic Games, que se asoció con Stefanović para el proyecto. El equipo de 3Lateral ha trabajado junto con compañeros de Cubic Motion (otro miembro de la familia de Epic Games) y el equipo de Unreal Engine para desarrollar el sistema de MetaHuman, que ofreció acceso anticipado a su aplicación gratuita basada en la nube MetaHuman Creator el año pasado. MetaHuman Creator permite a cualquier persona crear humanos digitales únicos de alta fidelidad en minutos a partir de su base de datos escaneados.
Sin embargo, la última versión de MetaHuman no solo trajo nuevas funciones a MetaHuman Creator, sino que también lanzó un nuevo complemento de MetaHuman para Unreal Engine. La primera característica importante de ese complemento es Mesh to MetaHuman, la cual comparte la tecnología central que se usó para reanimar al chamán. Este emocionante desarrollo (ahora, con acceso gratuito para todos), permite crear un MetaHuman a partir de nuestro modelo personalizado y completar proyectos similares sin tener conocimientos experimentados.
Sin embargo, la última versión de MetaHuman no solo trajo nuevas funciones a MetaHuman Creator, sino que también lanzó un nuevo complemento de MetaHuman para Unreal Engine. La primera característica importante de ese complemento es Mesh to MetaHuman, la cual comparte la tecnología central que se usó para reanimar al chamán. Este emocionante desarrollo (ahora, con acceso gratuito para todos), permite crear un MetaHuman a partir de nuestro modelo personalizado y completar proyectos similares sin tener conocimientos experimentados.
Reconstrucción física facial con técnicas tradicionales
El asentamiento de Lepenski Vir, que está al este de Serbia, a orillas del Danubio, se descubrió por primera vez en la década de los 60. Es un sitio de gran importancia histórica, ya que muestra las primeras etapas del desarrollo de la cultura prehistórica europea. En esta ubicación se desenterraron alrededor de 500 restos óseos, incluido el esqueleto conocido como el «chamán», gracias a su singular posición de loto con las piernas cruzadas, en la que se le encontró. Se cree que este chamán vivió en alrededor del 8000 a.C. A partir del esqueleto, el equipo de expertos pudo determinar su altura, peso e incluso el hecho de que vivía con una dieta a base principalmente de marisco.Para comenzar la reconstrucción, el equipo necesitaba crear una réplica física exacta del cráneo prehistórico para preservar la integridad del original. Bajo la dirección del arqueólogo Jugoslav Pendić, del Instituto BioSense en Novi Sad, Serbia, el equipo comenzó a recrear los rasgos faciales prehistóricos del chamán capturando cientos de imágenes 2D con una cámara de fotograma completo. Estos rasgos se importaron a RealityCapture para formar un modelo virtual 3D, que luego se imprimió en 3D para producir un modelo físico.
Luego, la réplica del cráneo se pasó a Oscar Nilsson, un artista forense y arqueólogo de Suecia, experto en reconstruir modelos de rostros antiguos para museos de todo el mundo. Nilsson pudo comenzar a crear una reconstrucción facial forense añadiendo capas de músculo y piel con arcilla, cuyo grosor va determinado por el sexo, la edad, la etnia y una estimación del peso del sujeto.
Convertir una malla estática en un modelo animable
Para dar vida al modelo del chamán, aún sin texturas de piel ni cabello, la reconstrucción de arcilla se escaneó de nuevo con el escáner Peel y se reconstruyó con RealityCapture para crear un modelo digital. Tras haber aplicado una textura básica para la piel y los ojos (requisito necesario para el siguiente paso), llegó el momento de pasar la malla por el proceso Mesh to MetaHuman.Mesh to MetaHuman ajusta la plantilla de topología de MetaHuman al escaneo del chamán usando el seguimiento automatizado de puntos de referencia en Unreal Engine 5. Luego, esta nueva malla se envió a la nube, donde se comparó con un MetaHuman con geometría facial y proporciones similares a las del chamán, y se unió automáticamente a la plataforma facial MetaHuman. Esta tecnología usó la amplia base de datos de escaneos de expresiones humanas reales de MetaHuman Creator para producir «expresiones calculadas estadísticamente» para esta cara ancestral, al tiempo que preservaba los deltas para conservar la semejanza original. Para obtener más información sobre cómo funciona el proceso, consulta este tutorial.
Una vez completado el proceso, el personaje se pudo abrir en MetaHuman Creator. El equipo podía reproducir el contenido y ver cómo el chamán cobraba vida al instante utilizando las diversas animaciones preestablecidas que ofrece la aplicación.
Refinando la imagen con MetaHuman Creator
En una sesión de colaboración con arqueólogos, forenses y un artista de personajes de MetaHuman, el equipo pudo reducir la apariencia del vello facial y las propiedades de la piel del chamán dentro de MetaHuman Creator. El análisis del ADN disponible sugirió que tendría la tez en un tono «oscuro intermedio», cabello oscuro y ojos marrones. «Podemos deducir el color de la piel, el cabello y los ojos con una precisión del 90 %», explica Stefanović.
Le añadieron arrugas y canas acordes a su edad estimada, ajustaron los dientes a partir del cráneo; el estilo del cabello y barba se hicieron a partir de herramientas plausibles (como conchas), disponibles en torno al 8000 a.C.
Con la apariencia digital del chamán hecha, Nilsson podría aplicar el mismo estilo al modelo físico para completar la reconstrucción 3D tradicional.
«Fue fantástico ir de acá para allá con MetaHuman Creator. Normalmente, yo mismo haría este trabajo a mano, lo que resulta bastante costoso y lleva mucho tiempo», dice Nilsson. «Pero poder hacer esto digitalmente lo cambia todo».
Con la apariencia digital del chamán hecha, Nilsson podría aplicar el mismo estilo al modelo físico para completar la reconstrucción 3D tradicional.
«Fue fantástico ir de acá para allá con MetaHuman Creator. Normalmente, yo mismo haría este trabajo a mano, lo que resulta bastante costoso y lleva mucho tiempo», dice Nilsson. «Pero poder hacer esto digitalmente lo cambia todo».
Una interacción con la historia en tiempo real
Luego, el equipo llevó el modelo digital a Unreal Engine, donde crearon un entorno virtual con iluminación realista. Luego, el chamán podría animarse a mano usando la plataforma facial MetaHuman o usando la aplicación gratuita Live Link Face, la cual permite usar un iPhone o iPad para capturar la animación facial y transmitirla a un personaje en Unreal Engine en tiempo real.Los modelos virtuales y físicos se desarrollaron en tándem y finalmente se presentaron en Expo de Dubái de 2020 mediante la plataforma nacional Serbia Creates, que apoyó la realización del proyecto. En la demostración, los visitantes pudieron capturar sus propias expresiones a través de iPhones y verlas reflejadas en la pantalla de animación en tiempo real a través del chamán digital.
«Cuando nadie interactuaba con él, lo dejábamos bostezar y estirar la cara usando algunas animaciones de sus compañeros humanos digitales», comenta Adam Kovač, especialista en soluciones de 3Lateral. «Era una gozada verlo sonreír»,
«Cuando nadie interactuaba con él, lo dejábamos bostezar y estirar la cara usando algunas animaciones de sus compañeros humanos digitales», comenta Adam Kovač, especialista en soluciones de 3Lateral. «Era una gozada verlo sonreír»,
afirma Stefanovic. «Nunca antes habíamos tenido la oportunidad de ver qué expresiones tenían las personas de otras eras cuando mostraban sus emociones», comenta.
Esta configuración interactiva ahora se exhibe en el Museo Nacional de Serbia, en Belgrado, junto con la colección de artefactos de Lepenski Vir de la institución.
Si bien el marco MetaHuman ha recibido un interés considerable dentro de las industrias del juego y del cine, el chamán Lepenski Vir ofrece una idea de cómo la tecnología puede apoyar a proyectos innovadores en campos más tradicionales, como la arqueología y la ciencia forense. El equipo espera que la innovadora reconstrucción alimente la imaginación de otros pioneros para que experimenten en diferentes espacios. «Vemos equipos que exploran sus usos entre la investigación médica, automotriz o incluso psicológica», explica Kovač. «Por ello, el futuro de todo esto dependerá de los usuarios».
Esta configuración interactiva ahora se exhibe en el Museo Nacional de Serbia, en Belgrado, junto con la colección de artefactos de Lepenski Vir de la institución.
Si bien el marco MetaHuman ha recibido un interés considerable dentro de las industrias del juego y del cine, el chamán Lepenski Vir ofrece una idea de cómo la tecnología puede apoyar a proyectos innovadores en campos más tradicionales, como la arqueología y la ciencia forense. El equipo espera que la innovadora reconstrucción alimente la imaginación de otros pioneros para que experimenten en diferentes espacios. «Vemos equipos que exploran sus usos entre la investigación médica, automotriz o incluso psicológica», explica Kovač. «Por ello, el futuro de todo esto dependerá de los usuarios».
¿Todo listo para crear tus propios humanos digitales?
Consulta la página del producto MetaHuman para saber cómo registrarte en el programa de acceso anticipado, así como para acceder a la documentación, los tutoriales y las preguntas frecuentes.