MAVE:, die virtuellen K-Pop-Stars, realisiert mit Unreal Engine und MetaHuman

F: Ich gehe davon aus, dass bei der Erschaffung von MAVE: zunächst die Bandmitglieder erstellt wurden. Welche Ziele hatten Sie bei der Schöpfung der digitalen Charaktere?

Unser Ziel war es, eine vierköpfige, virtuelle Gruppe namens MAVE: mit ansprechenden Charakteren zu erstellen. Jeder Charakter sollte dabei ein komplett neues Aussehen haben, das es so auf der Welt noch nicht gegeben hat. Bei der Erschaffung attraktiver Charaktere darf man sich aber nicht nur auf das Aussehen konzentrieren. Verschiedene Gesichtsausdrücke, die zu unterschiedlichsten Situationen passen, sind ebenfalls sehr wichtig. Wir haben uns darauf konzentriert, Pipelines und Technologien zu entwickeln, die das bewerkstelligen können.

F: Wie ich hörte, haben Sie MetaHuman für die Erstellung der Charaktere genutzt. Können Sie uns die Gründe dafür erläutern?

Wie bereits gesagt, ist neben einem attraktiven Aussehen auch eine detaillierte Mimik, die zu unterschiedlichen Situationen passt, wichtig für die Glaubhaftigkeit eines Charakters. Die Entwicklung und Anpassung der Mimik ist aber eine zeitaufwendige und teure Arbeit, weil dafür Rigging und Modellierung nötig sind und iterative Revisionen und Überprüfungen durchgeführt werden müssen. Aus diesem Grund war die MetaHuman-Technologie von Epic, die mit Hilfe jahrzehntelanger Erfahrung in der Erstellung digitaler Menschen entwickelt wurde, die perfekte Wahl. Sie war ein essenzieller Bestandteil bei der Entwicklung der Pipelines für unsere Charaktere.

Mit den Gesichts-Rigs von MetaHuman konnten wir ganz einfach die Gesichtsausdrücke erstellen, die wir benötigten, und sie bei der Animation aller Charaktere einsetzen. Wir konnten uns so auch auf Forschung und Entwicklung konzentrieren (zum Beispiel die Verbesserung der Rig-Steuerung), da wir uns auf das Whitepaper Rig Logic: Runtime Evaluation of MetaHuman Face Rigs von Epic Games beziehen konnten. Zudem besteht eine sehr hohe Kompatibilität zu externen Werkzeugen wie NVIDIAs Audio2Face, der App „Live Link Face“ für iPhone, Faceware und FACEGOOD. Das ermöglichte es uns, MetaHuman-Animationen besser anzuwenden und die Produktionszeit durch die Wiederverwendbarkeit der grundlegenden Mesh-Topologie, UV-Joint-Struktur und Steuerung drastisch zu senken.

F: Warum haben Sie sich neben MetaHuman auch für Unreal Engine entschieden?

Bei den Planungen zu MAVE: haben wir uns viele Gedanken zur Realisierung unseres Projekts gemacht und welche Aktivitäten unsere virtuelle Band durchführen sollte. Die Produktivität unserer Inhalte hatte dabei den höchsten Stellenwert für uns. Bei vielen Aktivitäten müssen bestimmte Inhalte produziert werden, was sehr hohe Produktionseffizienz erfordert. Andernfalls hätten wir wohl Kompromisse bei der visuellen Qualität eingehen müssen. Wir entschieden uns daher nicht nur aus Effizienzgesichtspunkten für Unreal Engine, sondern auch wegen der Echtzeit-Rendering-Qualität des Systems. Dank der Unreal Engine konnten wir die Grenzen der Aktivitäten von MAVE: aufbrechen und zum Beispiel medienübergreifende Musikvideos in kurzer Zeit produzieren, Aktivitäten in sozialen Medien durchführen und TV-Sendungen und Werbeclips erstellen.

Soziale Medien sind ein wichtiger Bereich für den Aufbau und die Pflege von Beziehungen. Damit das Erfolg hat, sind verschiedene Formen hochwertiger Inhalte nötig. Auch deshalb haben wir die Unreal Engine anderen Systemen vorgezogen. Mit dem Einsatz der Unreal Engine konnten wir verschiedenste Inhalte erstellen, darunter fotorealistische Bilder und Videos, mit denen wir unsere Fans auf unterschiedlichen Plattformen begeistern können.

F: Welche Art der Pipeline kommt bei den Charakteren von MAVE: zum Einsatz?

Das Entwicklerteam von MAVE: besteht aus talentierten Leuten mit unterschiedlichsten Hintergründen und Erfahrungen, etwa im Bereich Gaming und Filmproduktion. Das bedeutet, die Teammitglieder hatten abhängig von ihrer Spezialisierung bereits verschiedene DCC-Werkzeuge genutzt. Teammitglieder aus dem Gaming-Bereich kannten sich beispielsweise schon sehr gut mit Echtzeit-Rendering aus. Leute aus dem Bereich Multimedia & Entertainment verfügten über Expertise bei der Videoproduktion. Wir entwickelten daher eine besondere Pipeline, um die Synergien der Teammitglieder zu maximieren.

Die Pipeline besteht aus der Charakterplanung und der Charaktererstellung. Zur Charaktererstellung gehören die Detailschritte Modellierung, Mimikerstellung und Rigging, Haarerstellung und Körperkalibrierung.

In der Charakterplanung haben wir das Aussehen der Charaktere entworfen und geplant. Der Prozess fand in enger Abstimmung mit den Experten von Kakao Entertainment statt, die über viel Erfahrung in der Bandplanung erfolgreicher K-Pop-Bands verfügen. Für traditionelle K-Pop-Bands werden die Mitglieder aber aus bestehenden Talentpools ausgewählt und ihr Aussehen wird mit Make-up und Styling perfektioniert. Für virtuelle Bands mussten wir aber virtuelle Menschen erschaffen, die komplett neuartige und attraktive Personen sind. Das durfte sich nicht nur auf das reine Aussehen beschränken. Mimik, Bewegungen, Spracheigenheiten und so weiter waren dabei ebenfalls extrem wichtig.

Um diese Lücke zu schließen und um eine Arbeitsumgebung bereitzustellen, die der Originalumgebung des Planungsteams so nahe wie möglich kommt, entwickelte das Produktionsteam eine Pipeline auf Basis eines GAN-Netzwerks, um automatisch Zielbilder zu erstellen und Eigenvektoren manuell zu modifizieren oder zu kombinieren. Das ermöglichte es dem Planungsteam, einen bestehenden Charakter auszuwählen und dessen Parameter anzupassen, um bestimmte Planvorgaben zu erfüllen. Eine umständliche und langwierige Neuentwicklung des Charakteraussehens entfiel somit. Das Planungsteam half uns mit Einblicken und Informationen zur Erfolgsformel von K-Pop-Bands, die sie über die Jahre entwickelt hatten.
 

Bei der Erstellung und Anpassung der Mimik kam unser eigenes Werkzeug zum Einsatz. Dieses analysiert das Modell und generiert automatisch etwa 800 Gesichtsausdrücke, wobei Parameter wie Position und Größe eines Bereichs, Muskelbewegungen und so weiter berücksichtigt werden. Der Prozess ist vergleichbar mit Funktionen, die automatisch Gesichtsausdrücke erzeugen, wenn Sie einen grundlegenden Mesh-Typ eingeben, wie zum Beispiel das Plugin Mesh to MetaHuman. Wir haben unser eigenes Werkzeug entwickelt, weil das Plugin „Mesh to MetaHuman“ zu dem Zeitpunkt noch nicht verfügbar war. Das Plugin half uns allerdings enorm bei der Anpassung des Algorithmus und der Entwicklung der automatisierten Pipeline.

Wir haben zudem eine Funktion entwickelt, die neben den Standard-Gesichtsausdrücken auch spezielle Gesichtsausdrücke erstellt, die die individuellen Charaktereigenschaften widerspiegeln. Die Einbindung dieser neuen Gesichtsausdrücke erforderte das richtige Rigging. Dafür haben wir in Unreal Engine automatisch Control Rigs erstellen lassen und sie für die Charaktere angepasst.