Mit Unreal Engine verwandelt sich Big City Greens von 2D zu 3D

Im Weihnachtsspezial von Big City Greens müssen die Greens ein Dilemma lösen. Cricket Green sitzt in einem Schneesturm fest und schafft es nicht rechtzeitig zur Weihnachtsfeier mit der Familie nach Hause.

Crickets Freund Remy hat aber eine Idee. Die Familie kann zusammen in der 3D-Welt seines VR-Spiels feiern. „Das gab uns die Möglichkeit, traditionelle 2D-Erzähltechniken mit 3D-Echtzeit-Techniken zu verbinden, indem die Charaktere selbst auf die Reise gehen, um einen Weg in die virtuelle Welt zu finden“, erklärt Kaki Navarre, Vice President, Software Engineering in Technology bei Disney.

Animationen aus der 2D-Welt in 3D zu übertragen, bringt sowohl bei künstlerischen wie auch technischen Aspekten einige Herausforderungen mit sich. Zum einen müssen die 3D-Versionen der Charaktere originalgetreue Umsetzungen ihrer 2D-Gegenstücke sein.

„Wir wollten sichergehen, dass die Greens ganz sie selbst sind. Die Bewegungen und Designs sollten sich keinesfalls unterscheiden, damit die Zuschauer ganz klar erkennen ‚Oh, das da ist Cricket!‘“, sagt Jennifer Burchfield, 3D Animation Supervisor bei Disney.

Das Projekt wurde mit der Echtzeit-Pipeline aus der Unreal Engine angegangen, aber der Kunststil der Episoden verlangte nach einem ganz anderen Ansatz für das physikbasierte Spielaussehen. Ein sehr stilisierter Stil und kein Fotorealismus war gefragt.

Von Stop-Motion und Illustrationsstilen inspiriert entwickelte das Team einen ganz eigenen Stil, in dem verschiedene Kunst- und Animationstechniken verschmolzen. Dafür mussten spezielle Stilregeln für Aspekte wie etwa die Interaktion von Licht und Schatten mit den Charakteren entworfen werden, oder wie reflektierende Oberflächen aussehen sollten.

Das Team setzte auch sehr stark auf geometrisches Verschmieren. Verschmierte Einzelbilder sind eine 2D-Animationstechnik, bei dem ein sich bewegendes Objekt von mehreren Abbildern verfolgt wird. Das ähnelt dem Verschmieren oder Verwischen. Die Technik soll die Illusion einer fortlaufenden Bewegung erzeugen. „Damit haben wir uns mehr Peanuts oder Spider-Man: Into the Spider-Verse angenähert“, sagt Burchfield. „Wir haben alles völlig ohne Bewegungsunschärfe gemacht, damit der stilisierte Charakter zum Tragen kommen kann.“

Die Umsetzung der Techniken beginnt mit dem Charakter-Rigging. Das Team erstellte Rigs in Maya und übertrug sie dann in die Engine für einen ersten Animationsdurchlauf mit Control Rig.

Die Daten wurden dann in eine Animationssequenz übertragen und in FBX exportiert, damit die Animatoren in Maya den Feinschliff vornehmen konnten. „Wir wollten den Quetschen-und-Strecken-Stil wirklich hervorheben und keine Nachbearbeitungen außerhalb der Engine durchführen“, sagt Evan Binder, Pipeline Supervisor, 3D Animation bei Disney.

„Aus Performance-Gründen entschieden wir uns, bei FBX zu bleiben, da wir wussten, dass es gut mit Control Rig zusammenarbeitet, und weil wir diese Bedienelemente später unseren Künstlern zugänglich machen wollten, die sie in der Engine bearbeiten sollten.“

Nachdem der letzte Feinschliff in Maya abgeschlossen war, wurde alles komplett in die Engine zurückgeholt, damit das Team alles im ganzen Kontext betrachten, die Schmier-Einzelbilder einfügen und noch letzte Änderungen vornehmen konnte. „Man bringt alles zurück in die Engine und alles ist fertig und bereit“, sagt Droste. „Man betrachtet alles mit der richtigen Beleuchtung und sieht alles so, wie es in der finalen Version aussieht. Man arbeitet immer weiter daran und alles geht so schnell, dass man rasch Entscheidungen treffen und umsetzen kann.“

„Man arbeitet nicht im finalen Kontext, wie das Werk am Ende gesehen wird. Das führt dazu, dass viel geraten und nachgeprüft werden muss, wodurch ständig massive Änderungen vorgenommen werden müssen, was Tage, Wochen oder sogar Monate dauern kann, bis man das Ergebnis sieht. Wenn man in Echtzeit arbeitet, schrumpft die Zeit auf fast null. Man kann die Auswirkungen von Änderungen fast sofort sehen.“

Das löste häufig richtig freudige Aufregung aus. Wenn abgeschottete Abteilungen plötzlich simultan zusammenarbeiten können, dann wird der Anpassungsprozess geradezu euphorisierend. Üblicherweise begann der Prozess mit Würfeln, Zylindern und Previs-Assets von den Regisseuren. Nun konnte daran während des Layouts gearbeitet werden und gleichzeitig waren die finalen Assets in der Produktion. Das Team konnte auf Blueprints, Sub-Level-Nesting, Landschaftsgestaltung und Platzhalter-Props setzen, um die Produktion von Animation, Kinematografie, Beleuchtung und Technologie am Laufen zu halten. Sobald die Modelle fertig waren, konnten sie ganz einfach in der Engine eingesetzt werden.

„Jeder Tag war wie ein neues Geschenk, wenn wir alle Dateien mit Perforce synchronisieren und das ganze Projekt im Sequenzer abspielen konnten“, sagt Christina Douk, 3D Asset Supervisor bei Disney. „Die fortlaufende Arbeit in der Engine war sehr angenehm und interessant und die Produktion blieb mit fortschreitender Projektentwicklung immer inspiriert.“

Echtzeit-3D-Werkzeuge für die Filmproduktion

Die Filmproduktionswerkzeuge der Unreal Engine bilden die Technologien nach, die Sie auf einem realen Filmset finden. Zu Anfang des Projekts ging Droste selbst in die Engine und legte einen groben Ablaufplan der Geschichte fest. „Das war großartig. Ich konnte diese digitale Sandbox aus meinem Kopf wunderbar in die Engine übertragen“, sagt er.

„Alles ist ein riesiges Projekt, in dem wir uns bewegen und rasch Änderungen vornehmen können, was in der traditionellen Pipeline nicht möglich wäre. Ein zentralisiertes Inhaltserstellungspaket wie Unreal ermöglicht das aber“, erklärt Andy Wood, Director of Technology, Real-Time Media bei Disney.

Die Möglichkeit, Aufnahmen in letzter Minute noch mal bearbeiten zu können, macht sich bezahlt – insbesondere dann, wenn gegen Ende des Projekts noch größere Veränderungen verlangt werden. „Wir wollten einen ziemlich langen Abschnitt überarbeiten. Das hätte zum Showstopper werden können“, sagt Droste. „Ich habe mich mit dem Show-Runner zusammengesetzt und wir haben die dreiminütige Sequenz in etwa zwei Stunden in der Unreal Engine neu angelegt.“

Eine Pipeline für plattformübergreifende Inhalte

Disney ist dafür bekannt, die Grenzen der Animationstechnologie auszureizen, und die Technology Teams sind oft in neue Bereiche der Echtzeit-Visualisierung vorgestoßen. Daher war es nur natürlich, Echtzeitanimationen für „Virtually Christmas“ einzusetzen. „Mit fortschreitender Technologieentwicklung stellst du dir immer wieder die Frage, wie wir schneller mehr Kontext bekommen können. Wie können wir auf neue, innovative Art arbeiten?“, sagt Wood. „Es kam uns einfach sinnvoll vor, Echtzeit als Möglichkeit für so ein Projekt zu erkunden.“

Der Einsatz von Echtzeit-Technologie in „Virtually Christmas“ von Disney ist Teil einer viel größeren Anstrengung. Die kreativen und die Technology Teams des Unternehmens haben Echtzeit-Arbeitsabläufe in anderen Bereichen erforscht, darunter die virtuelle Produktion, Inhaltsinteraktivität, Datenvisualisierung und mehr. Wenn Abteilungen Echtzeit-Inhalte simultan erstellen können, ergeben sich interessante Entwicklungen: die Möglichkeit, Pipelines für die Inhaltserstellung für mehrere Plattformen zu entwickeln.