Conoce a MAVE:, el grupo de k-pop virtual creado con Unreal Engine y MetaHuman

P: Supongo que el primer paso en MAVE: fue crear a las integrantes del grupo. ¿Qué objetivos se perseguían al crear estos personajes digitales?

Nuestro objetivo cuando pensamos en crear a MAVE:, este grupo musical virtual de cuatro personas, era el de crear personajes atractivos, cada uno con una apariencia completamente nueva que no existiera en ninguna otra parte del mundo. Para crear un personaje que resulte atractivo, no basta con trabajar su apariencia, sino que también hay que añadirle una amplia gama de expresiones faciales para diferentes situaciones. Por ello, nos hemos centrado en crear y desarrollar un proceso y una tecnología con las que hacerlo posible.

P: Por lo que tengo entendido, se ha usado MetaHuman para crear los personajes. ¿Cuál es el motivo de esa decisión?

Como ya he mencionado, además de querer darle una apariencia atractiva, es esencial que un personaje convincente tenga una gama de expresiones faciales detalladas, adaptadas a diferentes situaciones. Sin embargo, crear y modificar esas expresiones faciales es una tarea larga y costosa, porque siempre implica procesos de rigging o modelado y exige revisiones y verificaciones reiteradas. Por eso, consideramos que la herramienta perfecta era la tecnología MetaHuman de Epic, ya que cuenta con años de experiencia en la creación de humanos digitales. Esa colaboración supuso una parte decisiva en la creación de nuestros personajes.

Con el rig facial de MetaHuman, pudimos crear fácilmente las expresiones faciales que queríamos y usar animaciones para varios personajes. Además, pudimos centrarnos en I+D (por ejemplo, en mejorar el rig de control) al consultar Rig Logic: Runtime Evaluation of MetaHuman Face Rigs, un libro blanco publicado por Epic Games. Además, el alto nivel de compatibilidad con herramientas externas, como Audio2Face de NVIDIA, la aplicación Live Link Face para iPhone, Faceware o FACEGOOD, nos permitió utilizar la animación MetaHuman y reducir drásticamente el tiempo de producción real al compartir la topología de malla subyacente, los UV, la estructura de articulaciones y los controles.

P: ¿Cuál es la razón de usar Unreal Engine con MetaHuman?

Durante la concepción de MAVE:, le dimos muchas vueltas a cómo debía posicionarse nuestro proyecto y en qué tipo de actividades queríamos que participase esta banda virtual. El factor más importante residía en la productividad de nuestros contenidos. Muchas actividades implicaban una gran cantidad de producción de contenidos y, para eso, hay que tener mucha eficiencia productiva. Si no se consiguen esos estándares, habría que renunciar a la calidad visual. Por todo ello, decidimos recurrir a Unreal Engine, no solo por su eficiencia, sino también por su calidad de renderizado en tiempo real. Con Unreal Engine, conseguimos que MAVE: pudiese abarcar un rango de actividades mayor en varios ámbitos, como la producción de un vídeo musical transmedia en un tiempo reducido, la actividad en redes sociales y nuevos programas de televisión y anuncios.

Las redes sociales son un canal importante para captar y crear vínculos con los seguidores. Para que esto ocurra, se necesitan distintas formas y cantidades de contenido de alta calidad. Por eso elegimos Unreal Engine antes que otras herramientas. Unreal Engine nos permitió crear distintos tipos de contenido, como imágenes fotorrealistas y vídeos, para interactuar con los seguidores en diferentes plataformas sociales.

P: ¿Qué tipo de proceso se empleó en la creación de cada personaje de MAVE:?

El equipo de creación de MAVE: está compuesto de personas con mucho talento procedentes de distintos campos como el sector del videojuego y el cine, lo que significa que todos han acabado usando diferentes herramientas de creación de contenido digital en función de su especialidad. Por ejemplo, los miembros del equipo del sector de los videojuegos conocen bien el renderizado en tiempo real, mientras que los del sector del cine y entretenimiento tienen experiencia en la producción de contenido multimedia con vídeo, así que hemos creado un proceso de trabajo especial para maximizar las sinergias entre cada miembro del equipo.

El proceso de trabajo comprende la planificación y la creación de personajes. La creación de personajes se divide, a su vez, en diferentes pasos detallados como el modelado, la creación de expresiones faciales y el rigging, la creación del pelo y la calibración del cuerpo.

La planificación de personajes es la fase en la que se diseña la apariencia de cada personaje. Este proceso se llevó a cabo en colaboración con los expertos de Kakao Entertainment, que cuentan con una gran experiencia en la preparación de grupos de k-pop exitosos. Sin embargo, en los conjuntos tradicionales de k-pop, los miembros proceden de una cantera de aprendices y su aspecto se completa con maquillaje y estilismo. En cambio, para los grupos virtuales tenemos que crear seres humanos virtuales de cero, como personas totalmente nuevas, y cuidar no solo su apariencia, sino también detallar sus expresiones faciales, sus movimientos, sus patrones de habla, etc.

Para suplir este vacío y proporcionar un entorno de trabajo lo más parecido posible al original del equipo de planificación, el equipo de producción creó un proceso de trabajo que utiliza una red GAN para generar automáticamente las imágenes objetivo y modificar o combinar manualmente los vectores propios. Esto permitió al equipo de planificación seleccionar un personaje existente y modificar sus parámetros para adaptarlos a los planos, en vez de tener que crear su aspecto desde cero. El equipo de planificación nos ayudó mucho al compartir con nosotros su conocimiento sobre la fórmula del éxito de un grupo de k-pop, que han obtenido durante años.
 

Para los pasos de creación y modificación de expresiones faciales, utilizamos una herramienta propia que analiza el modelo y genera automáticamente unas 800 expresiones faciales, a la vez que emplea información sobre la ubicación y el tamaño de cada zona, el flujo muscular, etc. El proceso es similar al de las funciones que generan automáticamente expresiones faciales cuando se introduce un tipo de malla básico, como el complemento Mesh to MetaHuman. Como Mesh to MetaHuman no estaba aún disponible entonces, tuvimos que desarrollar nuestra propia herramienta. No obstante, Mesh to MetaHuman fue de gran ayuda a la hora de modificar el algoritmo según las necesidades y crear un proceso automatizado.

También creamos una función para personalizar expresiones faciales específicas que reflejen la personalidad del personaje, además de las expresiones faciales estándar. La incorporación de estas nuevas expresiones faciales exigía un rigging adecuado, por lo que generamos rigs de control automáticamente en Unreal Engine y los configuramos para el personaje en cuestión.