텍스트, 카메라, 액션! 언리얼 엔진 5로 AI 뮤직 비디오를 제작하다

음악 업계를 뒤흔들다

세이건즈의 3D 스페셜리스트 아우렐리앙(Aurelien)에 따르면, 코히어런스는 세이건즈가 달성하려는 것 그 자체라고 합니다. 아우렐리앙이 설명합니다. “저희는 음악 업계가 돈이 안 되는 일에는 위험을 감수하지 않는 편이라 생각했죠. 이는 정통 콘텐츠의 감소로 이어졌고 그래서 세이건즈를 시작하게 되었습니다.”
 

AI를 더하다

우선, 팀은 가츠히로 오토모(Katsuhiro Otomo)의 유명한 아키라 애니메이션 스타일을 뮤직 비디오의 미학 기반으로 삼았습니다. 다음 단계는 뮤직 비디오의 주인공을 만드는 것이었습니다. 아우렐리앙이 말합니다. “저희는 언리얼 엔진으로 작업하기 전까지는 3D 세계를 잘 몰랐습니다. 그런 저희의 눈에는 캐릭터 제작이 아주 어려운 일처럼 보였죠. 다행히 메타휴먼 크리에이터 덕분에 일이 쉬워졌습니다.”

아우렐리앙이 설명합니다. “환경을 만들 때는 루멘이 큰 도움이 됐습니다. 하드웨어 리소스를 많이 쓰지 않고도 라이팅을 실시간으로 작업할 수 있었죠. 비 같은 파티클에 사용한 나이아가라까지 더해지니, UI에서 본 것과 똑같이 대응하는 렌더를 몇 초 만에 만들 수 있었습니다.”

마지막 단계는 언리얼 엔진 결과물을 씬의 필요에 따라 세 가지 AI 알고리즘을 돌려서 오토모 스타일의 결과물로 만드는 것이었습니다. 첫 번째 알고리즘 덕분에 세이건즈 아티스트들은 텍스트로 씬의 스타일을 설명한 다음, 비디오로 볼 수 있었습니다. 두 번째 알고리즘에서 레퍼런스 이미지를 애니메이션 비디오로 만들면, 마지막 알고리즘이 라이브 액션 영화를 스타일라이즈드 애니메이션 결과물로 만들었습니다.

아우렐리앙이 말합니다. “텍스트 투 비디오 알고리즘을 샷 대부분에 사용했습니다. Disco Diffusion 5로 각각의 프레임을 만들고 나면, 알고리즘을 통해 비디오로 바꿨죠. 텍스트가 아주 디테일해야 했습니다. 스타일을 설명하고 빈틈이 없을 정도로요. 하늘을 따로 언급하지 않으면, 머신은 도시 위에 하늘이 있어야 한다는 사실을 잊어버리고 맙니다. 첫 프레임을 잘 만들고 나면, 원하는 카메라 움직임에 따라 다음 프레임을 만들기 위한 설명이 충분한지 확인하고, 20번째 프레임에서 마지막으로 렌더를 확인했습니다.”