Love, Death + Robots | Mit freundlicher Genehmigung von Netflix
Sony Pictures Imageworks erschafft einen Echtzeit-Thriller für Love, Death + Robots von Netflix
27. Juni 2022
Was würden Sie tun, wenn Sie Cthulhu von Angesicht zu Angesicht gegenüberstünden? Für die Protagonisten in der bisher blutigsten Kurzgeschichte von Love, Death + Robots ist die Antwort simpel: Sie geben alles, um zu überleben. Die achte Folge der dritten Staffel, Begraben im Gewölbe, dreht sich um einen Trupp Soldaten, die auf gefährlicher Mission sind, um eine Geisel von Terroristen zu befreien. Als sie den Entführern in eine Höhle folgen, stoßen sie auf wahrhaftiges Grauen im Lovecraft-Stil.
Die Story zog sofort die Aufmerksamkeit des Teams von Sony Pictures Imageworks auf sich, die bereits an VFX für Jumanji, Spider-Man: Far From Home und weiteren Filmen gearbeitet haben. „Das wirklich Spannende an Love, Death + Robots war, dass die Animatoren freie Hand hatten und viele Aspekte sehr kreativ erkunden konnten“, beginnt Jerome Chen, der Regisseur von Begraben im Gewölbe. „[Sie konnten tun und lassen], was sie wollen, ohne durch Beschränkungen bestimmter Franchises oder Anforderungen an bestimmte Zuschauergruppen eingeengt zu werden.“
Für Chens Team bedeutete diese Freiheit, dass sie sich an ihr bisher ambitioniertestes Experiment wagen konnten: Die Transformation einer Jahrzehnte alten Pipeline in eine moderne Pipeline, die für das Echtzeit-Rendern in der Unreal Engine ausgelegt ist. „Wir erkannten, dass es nichts bringt, traditionelle Arbeitsabläufe in Echtzeit-Entwicklungsumgebungen zu zwängen“, sagt Doug Oddy, Senior VFX Producer bei Sony Pictures Imageworks. „Unsere traditionelle Pipeline war extrem stabil, robust und zuverlässig. Sie verfügte über eine gewaltige Code-Basis, unsere Rigs, Shader und Rendering-Setups. Jedes kleine Detail, das wir im Laufe der Zeit immer weiter verbessert hatten, und all die proprietären Programme, die wir eigens dafür geschrieben hatten – wir ließen all das zurück.“
Als die Kurzgeschichte vollendet war, war auch klar, dass sich dieses Experiment gelohnt hatte. Ein Team aus 45 Künstlern hatte sechs fotorealistische menschliche Charaktere mit perfekt ausgeführten Kampfbewegungen, Dialogen und Verstümmelungseffekten erschaffen. Dazu kamen vier einzigartige Umgebungen: von einer afghanischen Bergwelt bis hin zu einem schrecklichen Hort des Bösen. Selbst das Cthulhu-Monster konnte sich sehen lassen. Und all das hatte nur vier Monate Produktionszeit in Anspruch genommen, obwohl das Team keine vorherigen Erfahrungen mit Echtzeit-Entwicklung hatte. Das Projekt hat die Arbeitsweise von Sony Pictures Imageworks für immer verändert.
Die Story zog sofort die Aufmerksamkeit des Teams von Sony Pictures Imageworks auf sich, die bereits an VFX für Jumanji, Spider-Man: Far From Home und weiteren Filmen gearbeitet haben. „Das wirklich Spannende an Love, Death + Robots war, dass die Animatoren freie Hand hatten und viele Aspekte sehr kreativ erkunden konnten“, beginnt Jerome Chen, der Regisseur von Begraben im Gewölbe. „[Sie konnten tun und lassen], was sie wollen, ohne durch Beschränkungen bestimmter Franchises oder Anforderungen an bestimmte Zuschauergruppen eingeengt zu werden.“
Für Chens Team bedeutete diese Freiheit, dass sie sich an ihr bisher ambitioniertestes Experiment wagen konnten: Die Transformation einer Jahrzehnte alten Pipeline in eine moderne Pipeline, die für das Echtzeit-Rendern in der Unreal Engine ausgelegt ist. „Wir erkannten, dass es nichts bringt, traditionelle Arbeitsabläufe in Echtzeit-Entwicklungsumgebungen zu zwängen“, sagt Doug Oddy, Senior VFX Producer bei Sony Pictures Imageworks. „Unsere traditionelle Pipeline war extrem stabil, robust und zuverlässig. Sie verfügte über eine gewaltige Code-Basis, unsere Rigs, Shader und Rendering-Setups. Jedes kleine Detail, das wir im Laufe der Zeit immer weiter verbessert hatten, und all die proprietären Programme, die wir eigens dafür geschrieben hatten – wir ließen all das zurück.“
Als die Kurzgeschichte vollendet war, war auch klar, dass sich dieses Experiment gelohnt hatte. Ein Team aus 45 Künstlern hatte sechs fotorealistische menschliche Charaktere mit perfekt ausgeführten Kampfbewegungen, Dialogen und Verstümmelungseffekten erschaffen. Dazu kamen vier einzigartige Umgebungen: von einer afghanischen Bergwelt bis hin zu einem schrecklichen Hort des Bösen. Selbst das Cthulhu-Monster konnte sich sehen lassen. Und all das hatte nur vier Monate Produktionszeit in Anspruch genommen, obwohl das Team keine vorherigen Erfahrungen mit Echtzeit-Entwicklung hatte. Das Projekt hat die Arbeitsweise von Sony Pictures Imageworks für immer verändert.
Der Weg hin zu Echtzeit
Der erste Schritt zur Erschaffung der Kurzgeschichte war die Zusammenstellung des richtigen Teams. Unter 900 Künstlern von Sony Pictures Imageworks wurde eine Umfrage gestartet, mit der Frage, ob sie Interesse an der Arbeit mit Echtzeit-Rendering hätten. Wer daran interessiert war, wurde anschließend interviewt und über das Projekt aufgeklärt. „[Wir stellten von Anfang klar], dass es sehr schwierig werden würde“, fügt Chen hinzu. „Es gab keine Garantie, dass wir das Projekt erfolgreich zu Ende bringen würden. Es war ein richtiger Sprung ins Unbekannte.“Sobald das 45-köpfige Team zusammengestellt war, begannen sie mit der Arbeit am Nerf-Level, wie Oddy es nennt: eine grundlegende Skizzierung der Welt und der Kameraführung der Kurzgeschichte. Dann erstellten sie in der Engine mit ersten Assets aus ZBrush und Maya Storyboards für den 15-minütigen Film und positionierten die Charaktere für jede Szene. Für die drei Protagonisten wurden drei Schauspieler gescannt und mit dem MetaHuman Creator in wenigen Minuten drei Redshirt-Charaktere erstellt. Interessanterweise war das das erste Mal, dass der MetaHuman Creator in eine lineare Echtzeit-Produktion integriert wurde. Das führte nicht nur zu großartigen Ergebnissen, sondern die Erkenntnisse von Sony Pictures Imageworks während der frühen Entwicklungsphase waren auch für die Arbeit am MetaHuman Creator wertvoll.
Love, Death + Robots | Mit freundlicher Genehmigung von Netflix
„Ich denke, MetaHumans werden vieles grundlegend verändern“, sagt Chen. „Dass [die genutzten Charaktere] komplett geriggt sind und die Rigs perfekt auf die Unreal Engine abgestimmt sind und dass es so reibungslos mit der Echtzeit-Welt interagiert, macht das Ganze zu einem extrem mächtigen Werkzeug. Kreative [können] Charaktere einfach erstellen und direkt sehen, wie sie agieren … ohne unendlich viel Zeit für die Erstellung der Assets, das Scannen der Charaktere, die Texturarbeit und das Rigging zu verschwenden. Man kann einen Charakter einfach so in die Szene werfen.“
Love, Death + Robots | Mit freundlicher Genehmigung von Netflix
Eine optimierte virtuelle Produktion
Nachdem das Layout und die Charakterpositionierung abgeschlossen waren, ging das Team zur Animation über. Dafür wurden die Xsens-Anzüge eingesetzt, um die ersten Animationen mit Motion Capture abzuschließen. Dank des Take Recorders können Schauspieler auf der Bühne die Bewegungen ihrer Charaktere in der Umgebung in der Unreal Engine direkt sehen, sodass sie sich das finale Ergebnis einer Szene nicht mehr nur vorstellen mussten. So konnte die Produktion mehr wie ein Film mit echten Menschen angegangen und Entscheidungen im Handumdrehen getroffen werden.„Meistens gingen wir eine Aufnahme nicht mit einer komplett und perfekt durchgeplanten Sequenz an“, bestätigt Jeremy Sikorski, Asset und Real-Time Supervisor der Kurzgeschichte. „Wir wussten nicht genau, wie wir etwas aufnehmen wollten. Wir wussten nur ungefähr, welche Aktionen stattfinden sollten. Für mich war es dank des Sequenzers der Unreal Engine sehr einfach, aus verschiedenen Aufnahmen auszuwählen. Falls eine Darstellung mal nicht ganz passte, konnte ich einfach weitere Aufnahmen durchsuchen und nutzen. Ich musste nicht mehr ewig auf das erneute Rendering einer Aufnahme warten.“
Für Oddy bedeutete diese Veränderung, dass das Team schneller und besser zusammenarbeiten konnte, ohne von potenziellen Nacharbeiten ausgebremst zu werden. „Mit traditionellen Pipelines verhärten sich die Prozesse mit zunehmender Projektdauer. Man ist viel weniger geneigt, Aufnahmen aufzubrechen, da man unter Umständen bis ganz zum Anfang der Pipeline zurückgehen müsste“, erklärt er. „Mit Echtzeit gehst du nicht mehr zurück. Du arbeitest im Hier und Jetzt. Selbst mit weniger Personal kannst du ständig neue Ideen entwickeln. Du kannst den Film quasi bis 5 vor 12 problemlos noch mal zusammenschneiden.“
Nachdem das Motion Capture abgeschlossen war, wurden die Ergebnisse in Maya nachbearbeitet, bevor die FBX-Rig-Daten anschließend an die Unreal Engine geschickt wurden. Alle finalen Pixel-Renderings wurden mit minimalem Nachbearbeitungsaufwand in der Unreal Engine durchgeführt.
Love, Death + Robots | Mit freundlicher Genehmigung von Netflix
„Die Unreal Engine erlaubt uns die Visualisierung unserer Ideen in ihrer vollkommenen Form und nicht nur als abstrakte graue Renders. Das bedeutet am Ende, dass die final gerenderten Bilder aus der Movie Render Queue genauso aussahen wie etwas, dass wir durch den Viewport sahen – komplett mit präziser Bewegungsunschärfe“, fügt Sikorski an. „Unsere Nachbearbeitung ging sehr zügig vonstatten, denn wir mussten nur etwas Filmkornrauschen und Linsenreflexionen in einigen Einstellungen hinzufügen. Und Dinge wie die Krabbelviecher im Tunnel oder die Explosionseffekte der Kreaturen wurden alle im Rendern erledigt. Wir mussten nichts weiter hinzufügen.“
„Ich kann jedem nur raten, sich sofort in die Unreal Engine zu stürzen. Mit ihr können hochwertige Erzählungen innerhalb von Tagen oder Wochen erschaffen werden“, erläutert Sikorski. „Wir sind es gewohnt, Monate oder Jahre darauf zu warten, unsere ersten Bilder zu sehen. Für uns ist das eine gewaltige Veränderung der Art und Weise, wie so etwas in Zukunft produziert wird. Es veranlasste uns dazu, unsere Pipeline zu überdenken, die wir für über 25 Jahre genutzt hatten. Wir sind uns absolut sicher, dass Echtzeit-Rendering und die Unreal Engine in der Zukunft eine große Rolle spielen werden. Wir glauben, dass wir einen spannenden Moment in der Geschichte des Filmemachens und computergenerierten Kunst erleben: Die Geschwindigkeit und Kreativität, mit der Filme nun möglich sind, demokratisieren das Filmemachen im digitalen Raum.“
Begraben im Gewölbe, eine Folge von Love, Death + Robots: Staffel 3, läuft jetzt auf Netflix.
Das Ende von Silos
Neben der Optimierung der Produktion am Set und der Nachbearbeitung förderte die Echtzeit-Arbeit auch künstlerische Kreativität im Team von Begraben im Gewölbe. Gleich von Anfang an wurde die Silotrennung zwischen den Abteilungen von Sony Pictures Imageworks über Bord geworfen. Künstler konnten Sequenzen direkt abspielen, ohne stundenlang auf ein Render warten zu müssen. Sie konnten auch Anpassungen vornehmen, ohne erst eine andere Abteilung hinzuziehen zu müssen. So konnten individuelle Teammitglieder viele Arbeiten erledigen: von der Animation bis hin zur Beleuchtung, und alles mit derselben Plattform.„Ich kann jedem nur raten, sich sofort in die Unreal Engine zu stürzen. Mit ihr können hochwertige Erzählungen innerhalb von Tagen oder Wochen erschaffen werden“, erläutert Sikorski. „Wir sind es gewohnt, Monate oder Jahre darauf zu warten, unsere ersten Bilder zu sehen. Für uns ist das eine gewaltige Veränderung der Art und Weise, wie so etwas in Zukunft produziert wird. Es veranlasste uns dazu, unsere Pipeline zu überdenken, die wir für über 25 Jahre genutzt hatten. Wir sind uns absolut sicher, dass Echtzeit-Rendering und die Unreal Engine in der Zukunft eine große Rolle spielen werden. Wir glauben, dass wir einen spannenden Moment in der Geschichte des Filmemachens und computergenerierten Kunst erleben: Die Geschwindigkeit und Kreativität, mit der Filme nun möglich sind, demokratisieren das Filmemachen im digitalen Raum.“
Begraben im Gewölbe, eine Folge von Love, Death + Robots: Staffel 3, läuft jetzt auf Netflix.
Holen Sie sich noch heute die Unreal Engine!
Sichern Sie sich das offenste und fortschrittlichste Werkzeug der Welt.
Die Unreal Engine wird mit allen Funktionen und vollem Zugriff auf den Quellcode geliefert und ist sofort einsatzbereit.
Die Unreal Engine wird mit allen Funktionen und vollem Zugriff auf den Quellcode geliefert und ist sofort einsatzbereit.