Love, Death + Robots | Avec l'aimable autorisation de Netflix
Comment Sony Pictures Imageworks a créé un thriller en temps réel pour la série Netflix Love, Death + Robots
27 juin 2022
Que feriez-vous si vous tombiez nez à nez avec Cthulhu ? Pour les héros de l'un des courts-métrages les plus gores de Love, Death + Robots, la réponse est simple : ils vont tout faire pour survivre. Intitulé Dans l'obscurité des profondeurs, le huitième épisode du troisième volume met en scène une escouade de soldats ayant pour mission de récupérer un otage détenu par des terroristes. Alors qu'ils s'aventurent dans les profondeurs souterraines, ils ne tardent pas à rencontrer la terrible créature imaginée par Lovecraft.
Cette histoire a immédiatement parlé à l'équipe de Sony Pictures Imageworks, qui avait déjà travaillé sur les effets visuels de nombreux films, comme Jumanji et Spider-Man: Far From Home. "Le plus intéressant avec Love, Death + Robots, c'est que les animateurs avaient carte blanche", déclare Jerome Chen, réalisateur de Dans l'obscurité des profondeurs. "[Ils pouvaient faire] ce qui leur plaisait sans avoir à se soucier de s'adapter à une certaine franchise ou à un certain public."
Cette liberté a permis à l'équipe de Jerome Chen de se lancer dans une expérience particulièrement ambitieuse : transformer un pipeline vieux de plusieurs décennies en un pipeline adapté au rendu en temps réel dans l'Unreal Engine. "Nous avons compris qu'il n'était pas possible d'essayer d'adapter les flux de travail traditionnels aux environnements en temps réel", explique Doug Oddy, producteur senior des effets visuels chez Sony Pictures Imageworks. "Notre pipeline traditionnel était très stable, très robuste et surtout très fiable. Nous disposions d'une importante base de code, mais aussi de squelettes, de shaders et de configurations de rendu. Nous avons décidé d'abandonner tous les petits détails que nous avions mis des années à perfectionner ainsi que tous les outils exclusifs que nous avions créés."
Cependant, à la fin de la réalisation du court-métrage, il était évident que le pari était gagné. Une équipe de 45 artistes a créé six personnages humains photoréalistes ainsi que des combats, des dialogues et des effets de mutilation parfaitement animés. Les artistes ont également conçu quatre environnements distincts, allant des montagnes afghanes à un repaire maléfique. Ils ont même créé un monstre inspiré de Cthulhu. Tout cela en seulement quatre mois de production et sans réelle expérience du rendu en temps réel. Ce projet a changé à jamais la manière de travailler de l'équipe Sony Pictures Imageworks.
Cette histoire a immédiatement parlé à l'équipe de Sony Pictures Imageworks, qui avait déjà travaillé sur les effets visuels de nombreux films, comme Jumanji et Spider-Man: Far From Home. "Le plus intéressant avec Love, Death + Robots, c'est que les animateurs avaient carte blanche", déclare Jerome Chen, réalisateur de Dans l'obscurité des profondeurs. "[Ils pouvaient faire] ce qui leur plaisait sans avoir à se soucier de s'adapter à une certaine franchise ou à un certain public."
Cette liberté a permis à l'équipe de Jerome Chen de se lancer dans une expérience particulièrement ambitieuse : transformer un pipeline vieux de plusieurs décennies en un pipeline adapté au rendu en temps réel dans l'Unreal Engine. "Nous avons compris qu'il n'était pas possible d'essayer d'adapter les flux de travail traditionnels aux environnements en temps réel", explique Doug Oddy, producteur senior des effets visuels chez Sony Pictures Imageworks. "Notre pipeline traditionnel était très stable, très robuste et surtout très fiable. Nous disposions d'une importante base de code, mais aussi de squelettes, de shaders et de configurations de rendu. Nous avons décidé d'abandonner tous les petits détails que nous avions mis des années à perfectionner ainsi que tous les outils exclusifs que nous avions créés."
Cependant, à la fin de la réalisation du court-métrage, il était évident que le pari était gagné. Une équipe de 45 artistes a créé six personnages humains photoréalistes ainsi que des combats, des dialogues et des effets de mutilation parfaitement animés. Les artistes ont également conçu quatre environnements distincts, allant des montagnes afghanes à un repaire maléfique. Ils ont même créé un monstre inspiré de Cthulhu. Tout cela en seulement quatre mois de production et sans réelle expérience du rendu en temps réel. Ce projet a changé à jamais la manière de travailler de l'équipe Sony Pictures Imageworks.
L'aventure du temps réel
La première étape de la création du court-métrage a consisté à former la bonne équipe. Un sondage a été envoyé à 900 artistes Sony Pictures Imageworks afin de savoir s'ils étaient intéressés par le rendu en temps réel. Les artistes qui ont choisi de se porter candidats ont passé un entretien pour leur présenter le projet. "[Nous leur avons expliqué clairement] que cela n'allait pas être facile", ajoute Jerome Chen. "Nous n'avions absolument pas la certitude de parvenir à mener le projet à bien. C'était un véritable saut dans l'inconnu."Une fois que l'équipe de 45 artistes a été constituée, ces derniers ont commencé à travailler sur ce que Doug Oddy appelle le niveau "Nerf" : la structure de base du monde et la disposition de la caméra dans le court-métrage. Les différentes scènes du film de 15 minutes ont ensuite été scénarisées dans le moteur, le tout avec des ressources importées depuis ZBrush et Maya. Trois acteurs ont été scannés pour les trois héros et MetaHuman Creator a été utilisé pour générer trois personnages en seulement quelques minutes. Curieusement, c'était la première fois qu'un MetaHuman était intégré à une production linéaire en temps réel. Cet exploit a porté ses fruits, mais a également contribué à améliorer MetaHuman Creator grâce aux retours de Sony Pictures Imageworks au début du développement.
Love, Death + Robots | Avec l'aimable autorisation de Netflix
"Je pense que les MetaHumans vont véritablement changer la donne", déclare Jerome Chen. "Le fait que [le personnage] soit déjà squelettisé et configuré pour l'Unreal Engine et qu'il fonctionne dans un monde en temps réel, ça rend le concept particulièrement puissant. Les créateurs [peuvent] importer des personnages et les voir s'animer sans avoir à passer trop de temps sur le développement des ressources, le scan des personnages, la texturisation et la squelettisation. On peut directement s'attaquer à l'animation."
Love, Death + Robots | Avec l'aimable autorisation de Netflix
Une production simplifiée
Une fois que la configuration et la mise en forme ont été terminées, l'équipe a pu passer à l'animation. Des combinaisons Xsens ont été utilisées pour mener à bien la première étape de l'animation grâce à la capture de mouvement. Grâce à Take Recorder, les acteurs ont pu voir leurs mouvements appliqués aux personnages dans l'environnement de l'Unreal Engine. Ils n'avaient pas besoin d'essayer d'imaginer le rendu. La production a donc pu être abordée comme un film en prise de vues réelles et il a été possible de prendre des décisions sur le vif."En général, lorsque nous arrivions sur le tournage, les séquences n'avaient pas été réellement définies", confirme Jeremy Sikorsky, responsable des ressources et du temps réel du court-métrage. "Nous ne savions pas exactement comment nous souhaitions nous y prendre, mais nous avions une idée globale de ce qui devait se passer. Je pouvais ensuite utiliser l'outil Sequencer de l'Unreal Engine pour faire mon choix entre les différentes prises. Ainsi, si la performance ne convenait pas, je n'avais qu'à chercher une autre option plutôt que de demander un nouveau rendu de la prise."
Pour Doug Oddy, la possibilité d'apporter des changements signifiait que l'équipe pouvait travailler bien plus vite et de manière plus collaborative sans être ralentie par d'éventuelles refontes. "Avec les pipelines traditionnels, à mesure que la production avance, les choses deviennent plus galvanisées et il est de plus en plus difficile de modifier les prises sans avoir à retourner au début du pipeline", explique-t-il. "L'avantage du temps réel, c'est qu'il n'y a pas besoin de retourner en arrière. On peut travailler en direct. Même avec une équipe plus petite, il est possible d'intégrer de nouvelles idées tout au long de la production. On peut décider de remonter le film à la dernière minute sans aucun problème."
Une fois l'étape de capture des mouvements terminée, les résultats ont été organisés dans Maya, puis les données d'armature au format FBX ont été renvoyées dans l'Unreal Engine. Le rendu final a ensuite été réalisé dans l'Unreal Engine et n'a nécessité que peu de travail en postproduction.
Love, Death + Robots | Avec l'aimable autorisation de Netflix
"L'Unreal Engine nous permet de visualiser nos idées telles qu'elles apparaîtront et non sous forme de rendus gris. Cela signifie que les images finales rendues dans Movie Render Queue ressemblaient exactement à ce que nous avions vu dans le Viewport, avec un flou de mouvement fiable", ajoute Jeremy Sikorski. "Notre processus de postproduction a été plutôt simple, nous avons simplement ajouté du grain et un effet de lens flare à certaines images. En ce qui concerne les insectes du tunnel ou les effets d'explosion pour les créatures, tout était dans le rendu. Nous n'avons rien eu à ajouter."
"J'encourage tous ceux qui le souhaitent à partir à la découverte de l'Unreal Engine. Grâce à ce moteur, il est possible de créer une histoire haute-fidélité en seulement quelques jours ou quelques semaines", révèle Jeremy Sikorski. "Auparavant, nous devions attendre plusieurs mois, voire plusieurs années, avant d'obtenir un premier visuel, mais la production est amenée à évoluer. Cet outil nous a permis de repenser un pipeline que nous utilisions depuis 25 ans, car nous savions que l'Unreal Engine et le rendu en temps réel seraient amenés à faire partie de notre avenir. En tant que réalisateurs et infographistes, nous avons bien compris que nous étions à l'aube d'une nouvelle ère. La rapidité et la créativité qu'implique la création d'images démocratiseront certainement la réalisation de films dans la sphère numérique."
Dans l'obscurité des profondeurs, un épisode de Love, Death + Robots: Vol 3, est d'ores et déjà disponible sur Netflix.
Cloisonnements
En plus de simplifier le tournage et la postproduction, les flux de travail en temps réel ont permis aux artistes qui travaillaient sur Dans l'obscurité des profondeurs de laisser libre cours à leur créativité. Dès le début, les différents départements de Sony Pictures Imageworks ont été décloisonnés. Les artistes pouvaient voir les séquences sans avoir à attendre plusieurs heures et ont pu faire des ajustements sans avoir à impliquer d'autres départements. Cela signifie que les individus ont pu assumer plusieurs rôles et peaufiner les différents aspects de la production et de l'animation à l'éclairage, et ce depuis une seule et même plateforme."J'encourage tous ceux qui le souhaitent à partir à la découverte de l'Unreal Engine. Grâce à ce moteur, il est possible de créer une histoire haute-fidélité en seulement quelques jours ou quelques semaines", révèle Jeremy Sikorski. "Auparavant, nous devions attendre plusieurs mois, voire plusieurs années, avant d'obtenir un premier visuel, mais la production est amenée à évoluer. Cet outil nous a permis de repenser un pipeline que nous utilisions depuis 25 ans, car nous savions que l'Unreal Engine et le rendu en temps réel seraient amenés à faire partie de notre avenir. En tant que réalisateurs et infographistes, nous avons bien compris que nous étions à l'aube d'une nouvelle ère. La rapidité et la créativité qu'implique la création d'images démocratiseront certainement la réalisation de films dans la sphère numérique."
Dans l'obscurité des profondeurs, un épisode de Love, Death + Robots: Vol 3, est d'ores et déjà disponible sur Netflix.
Obtenez l'Unreal Engine dès maintenant !
Procurez-vous l'outil de création le plus ouvert et le plus avancé au monde.
L'Unreal Engine est livré prêt à l'usage, avec toutes les fonctionnalités et un accès inclus au code source complet.
L'Unreal Engine est livré prêt à l'usage, avec toutes les fonctionnalités et un accès inclus au code source complet.