声明:本文来自于微信公众号 量子位,作者:量子位,授权Soraor转载发布。

国产AI视频大模型牵手国际顶尖IP!

最近票房单日冠军漫威《毒液3》的水墨风宣传片,竟然是用AI做的。就是下面索尼电影官方发布这一条

image

30秒的时长,搞了个水墨版毒液大咖秀——

时而幻化成鱼,时而变做岸上奔腾的毒液马;一会儿又飞檐走壁,变换为展翅飞鹤,在古楼最高处俯瞰城市。

脸上还露出毒液标志性的邪魅一笑。

导演杨晟(电影《泰囧》、游戏《完蛋我被美女包围了》主创)和凯伦(参与制作电影《邪不压正》、游戏《星穹铁道》)表示:

这条宣传片,完全基于国产AI视频工具生成。

制作总体时间效率提升了至少3倍,节省了近90%的后期投入。

背后是来自清华系AI视频创业公司生数科技,用的就是其旗下的Vidu。

量子位特地联系主创团队,要来了背后制作过程分享,对AI视频感兴趣的旁友可以参考参考业内顶尖实践。

导演杨晟透露,整条短片的画面都基于Vidu平台实现,主要采用了Vidu的图生视频和首尾帧控制功能,其中后者的使用占比更高。

整个流程是酱婶滴:

主创团队前期先人工手绘分镜画,画出要喂给Vidu的首帧和尾帧画面。

然后坐等Vidu在保持画面变幻中主题、风格、时空连贯的前提下,自动理解并补充过程中的视频画面内容。

举个“墨汁扩散演化成毒液”的例子。

这是一个水墨画风格的首帧:

image

这是一个水墨画风格的尾帧:

image

首尾帧控制,吐出来的视频效果如下:

image

中间由AI“脑补”的画面,既可以是一镜到底,也可以进行镜头切换的蒙太奇操作。

导演杨晟表示:

这支短片不长,但涉及到很多镜头变幻,即便对传统特效公司来说,也需要投入专业人力花费一番力气才能完成。

传统动画制作的流程需要先经过脚本、分镜(关键帧制作)、三维建模、动画后期制作等环节。

一般而言,迪斯尼制作一部动画需要4-5年的时间。

动画中期的团队尤为庞大,常常是几千人一起工作,过程相当漫长,中间还会发生很多人为执行上的不可控因素。

主创团队透露,当时,索尼对主创团队下了个prompt:

一个月时间,围绕“万物皆可毒液”的主题制作一支创意短片。

短片所宣传的《毒液:最后一舞》是“毒液三部曲”的最终章。此前,毒液的IP形象已经给观众留下了深刻的印象。

因此,制作宣传短片,对形象的稳定性和一致性有着极高要求。

最初,团队的想法是采用实拍,譬如利用非牛顿流体等来实现毒液百变的特质;甚至考虑用500ml强磁体去模拟真实存在的毒液。

但是事与愿违,实拍效果完全不及预期,更要命的是这样操作的制作周期太长了。

于是,团队开始考虑尝试今年风头很盛的AI视频生成。

为了实现用AI制作该短片,主创团队此前尝试了非常多款国内外AI视频生成工具,“但经常会出现前后镜头风格不统一、崩坏率高等问题。”

杨晟解释道,选择Vidu,一方面是看中了其在水墨风格上的审美独特性和一致性;另一方面,Vidu生成的视频没有镜头转换的割裂感,同时画面内容也符合水墨渲染的特质和水流动的物理规律。

基本上说,可以是拿来即用了。

Vidu加入工作流后,原本的动画制作流程得到简化。

创作团队提供到关键帧原画,直接用AI生成视频素材,再剪辑、包装、配音,就完成了片子。

值得一提的是,AI仅花费了2天时间就生成了所有的素材,这在过去占工作量80%-90%。

而且主创团队表示,AI视频生成突破了资金和时间的限制,创作者不需再在有限选择范围内对内容质量做妥协,毕竟只需要半天时间,AI就能生成近2000条视频素材,充分支持创作者进行内容选择。

故而短片制作很顺利——

传统流程下,30s的动画短片需要制作1-2个月;基于Vidu,主创团队耗时10天,全部制作完成,这比索尼电影给的ddl要早得多。

显然,Vidu参与后整个流程被大大简化,

导演凯伦表示,用上AI视频,朝九晚五有望了(doge)。

实际上,这并不是AI视频领域的首次商业化尝试。

2024最强期货OpenAI的Sora,今年6月就已经和玩具反斗城合作过AI商业片《玩具反斗城的起源》。

不过,后期包装和特效制作的占比,以及AI在创作过程中实际发挥的作用等幕后制作环节,OpenAI都没有放出具体细节。

据了解,未来,漫威计划将更多超级英雄IP通过AI化的方式呈现到大众面前。

甚至个人IP爱好者们也能用Vidu搞漫威二创——

谁说蜘蛛侠不能也AI起来?