声明:本文来自于微信公众号 硅星人Pro(ID:Si-Planet),作者:summer,授权Soraor转载发布。

仅概念片就获得 60 万全网浏览量、刚刚播出 3 集快手单平台播放量破 1000 万、首播登上院线大屏幕......

这并不是某一个明星大咖出演的大制作电影,而是国内第一部由AI生成的原创玄幻短剧《山海奇镜》。

上周末,《山海奇镜》在快手星芒短剧正式上线,以《山海经》为背景讲述了人与奇幻神兽之间发生的冒险故事。全剧分成了多个单元,目前上线的第一个单元《劈波斩浪》,围绕着一位少年为救母亲与海底巨兽展开殊死搏斗展开。而之所以短片一经上线便获得了高度关注,除了内容本身之外,从剧本创意到分镜、美术、特效再到最终生成视频,都是由导演闲人一坤为主的 10 人小团队通过AI工具完成的。

从院线首播的效果来看,这个由快手可灵生成的版本已经足够流畅,几乎脱离了原先AI视频的动态PPT既视感,单个镜头大多在3~5S,特别是在人物和景象的变化,包括共工破山、海浪翻滚、山石崩塌等物体运动幅度较大,且符合了物理世界规律。

例如,从侧身半蹲到站立转体的人物运动过程。

image

还有此前AI很难完成的多角色动作交互,在当前版本能够完整呈现出来,神话角色的大表情神态以及镜头的旋转配合得十分自然。

image

不过,从观众的角度来看,还是摆脱不了一定的AI感。站在AI视频技术发展的角度,大部分“老铁”还是持赞赏态度的,而将《山海奇镜》与现在短剧水平进行对比的观众,把真人演员当作尺子,往往会觉得AI“僵硬”“没有灵魂”“好假”。

image

闲人一坤本人也讲道:“成片中仍然有一些令人遗憾的形变,但技术在不断进化,下一个版本会更好”。

《山海奇镜》制作的全过程是什么?是灵光一现还是有迹可循?普通人能复制,创作AI短剧么?

带着这些问题,我们与《山海奇镜》的作者闲人一坤聊了聊他从 2023 年 11 月至今的AIGC创作探索之路。

1

《山海奇镜》前传

准确的说,从 2023 年 11 月之前,《山海奇镜》只是闲人一坤的一个想法,并没想过能真正落地。

ChatGPT爆火以后,他尝试过用ChatGPT聊创意(闲人一梦)、画图(马良)、写论文(MOJI )、做游戏(阿凡达),但这些都是简单的尝试,并没有进入到生产阶段。

image

4 月,闲人一坤在和“闲人一梦”的聊天中,第一次有了做一个山海经短片的想法,在对话中萌生了最初灵感。

image

在ChatGPT给出了短片的思路和脉络之后,在后面的系列AI产品测试中,闲人一坤都将奇幻短片作为了自己的核心创作主题。他先是尝试过自己的GPT马良生成图片,发现效果并不理想后,又开始在Midjourney中调试Prompt,生成了一些“怪兽”的原画图。

在Midjourney 6. 0 版本,有一些人物与怪兽交互的原画图开始有了具象化的产出。用闲人一坤的话说:“这让人喜出望外”。

图片来源于 闲人一坤

image

当根据分镜脚本“搓完了”概念图之后,有了在Midjourney上的一些图片素材的积累,下一步就是将它们视频化。

image

时间来到了 2023 年 10 月,彼时,国内并没有太成熟的视频生成产品,“Runway还不错,特别是Motion Brush的功能,在控制一些局部大动作的时候,能够做到想动哪动哪,后来我又拿到了Pika1. 0 的试用权,第一时间冲上去肝了一宿。”

起初,闲人一坤非常激动,但真正使用过各类AI视频工具后发现,大多数的效果都不尽人意。“说实话,结果让我有点失望,比如有的图片已经做到了高清,但是生成出来的视频非常模糊。”

image

12 月,在一个偶然的机会下,爱诗科技的产品团队进行前期调研时问到了闲人一坤的想法,并提出近期上线一个可以超分的4K功能(类比Midjourney的Upscale功能),尝试之后的生成效果,让闲人一坤“直接泪目”。

图片来源于 闲人一坤

image

至此,闲人一坤才有了将《山海奇镜》真正做出来的想法,并开始和自己的团队一起进入正式的生产流程。

1

10 天生成概念片,半年推出正片

在真正落地之前,剧本创作的第一步就把闲人一坤难住了。

现如今的大语言模型,只能给到一些零散的创意,并不能系统性地生成可用的剧本。虽然《山海奇镜》的题材是玄幻故事,但仍然是基于现实世界和新的世界观打造的,目前AI编剧还无法给出符合预期的作品。

闲人一坤认为,在AI技术还不够真实的现阶段,故事吸引力是内容效果的主力支撑,在这个环节,目前仍然需要真人编剧进行创作。

打磨好剧本,在制作环节,就轮到AI工具出场了。

有了过往的经验,闲人一坤的工作流是:按照着通过Midjourney文生图确定影片画面,一遍一遍地调整提示词,保持人物一致性,生成稳定、清晰、准确的画面素材,而后再将这些图“喂”给PixVerse或可灵等图生视频模型,生成预告片和正片素材,最后再给到后期人工剪辑。

“目前文生视频很不可控,前后人物的稳定性不高,更容易出现Bug,而将Midjourney生成的图喂给Runway、Pika、可灵再做视频生成之后,就可以人为地提供一致性和稳定性了。”

这意味着,最终视频生成的画面、效果、美感都押在了Midjourney生成的图片上。一遍一遍地产出、反馈、重新产出,经常需要在几十次生成里找到心仪的那个。

image

视频中一闪而过的这张老人图,闲人一坤就经过了多轮调试,具体提示词也非常专业和复杂:Front view, close-up, ancient times, white haired Chinese old man looking towards the camera, with eerie eyes and a hint of eerie smile at the corner of his mouth. His clothes are blue, with a realistic photography effect and indoor candlelight effect,翻译过来就是:正面面对镜头,特写,古代,一位白发的中国老人看着镜头,眼神诡异,嘴角带着一丝诡异的微笑。他的衣服是蓝色的,具有逼真的摄影效果和室内烛光效果。

团队用了 10 天时间,让上述工作流在PixVerse上生成了 1 分 49 秒的预告片并对外发布,在AI的社区和影视社区后引发了广泛讨论,仅概念片就获得了全网60 万的播放量。闲人一坤更加坚定将《山海奇镜》做成正片的想法。

但在 4 月到 5 月,技术本身没有太大的迭代,闲人一坤使用了各种图生视频的AI软件,都遇到了生成的效果动作幅度太小的问题,难以摆脱“PPT式影片”的风格,在很长一段时间里,闲人一坤讲道:“每一天都是最难的一天”。

“我们甚至考虑过用ComfyUI去搭建工作流、绿幕动捕转绘,但不论是哪一种,都不是很满意。要么就是动态ppt,要么就是没法跟背景完美融合,不论如何抽卡,如何剪辑,总是达不到理想的效果。”

直到今年 6 月,可灵的出现,将视频生成的一致性和逻辑性又提升了一个台阶,闲人一坤随手 1 小时做的视频,竟然在X上获得了10W的观看量。他察觉到可灵或许能够解决当前自己遇到的瓶颈,于是找到可灵的团队,提出希望深度合作的意愿,将 5 月底已经生成的作品,又花了 10 天用可灵重置了一版。

以前面提到的水神共工从山中站起的镜头为例,在最终的呈现版本里,可灵不但完成了“站起来”的动作,甚至于整个人物还实现了立体的转体,肌肉的质感和头发的飘逸都符合了闲人一坤的要求,“这个镜头在原来的传统影视工业当中,需要很长时间和很大资金成本的。”

不过,整个重置过程,也并不是完全顺利的,仍然非常依赖一遍一遍地“抽卡”,有一个水神共工和火神打架的镜头,因为涉及到大幅度的动作交互,闲人一坤让可灵跑了 100 遍,但在成片中仍然有一些令人遗憾的形变。

1

《山海奇镜》可以被复制吗?

《山海奇镜》是可以被复制的吗?答案是肯定的。

通过闲人一坤团队的探索路径来看,目前他们已经形成了一个完整的工作流,在这个工作流中,除了剧本制作和后期剪辑是人工完成,其余环节均由AI生成。

另一方面,《山海奇镜》的出现,意味着小团队、低成本的视频创作,有了更多后续商业化的可能。

《山海奇镜》的预告片之后,来找闲人一坤合作的机会络绎不绝,文生图+图生视频的工作流也被他们这个 10 人的小团队多次验证。

在 2 月,闲人一坤正式做完了第一个商业化案例,给梅兰芳制作一个AI短片。而后又陆陆续续接到了多个AI影视项目,比如给北冰洋做的AI广告,湖南卫视的一些宣传片,还有目前正在给亚洲冬季运动会的主题曲做MV等等。

除了闲人一坤的尝试,其他的AIGC团队也接到了AI广告项目。例如三星堆未来启示录的项目成员给京东制作的广告视频;更多人还在探索,如小红书博主@火山的AIGC尝试用可灵给奔驰制作的短片案例等等。

一方面,广告作为商业内容,本身时长不长,且对于人物表演要求不大,大多是物体的运动和展示,目前的技术已经能较为合理地呈现出来,其次则是相较于实拍+传统特效,AI视频的成本更低,以《山海奇镜》为例,闲人一坤透露整部片子的成本,只是之前一个特效画面的钱。

除了接项目赚钱,闲人一坤的星贤文化已经决定ALL in AI,甚至刚刚完成了种子轮融资,可以试想的是,在传统影视寒冬没完全过去的时候,如果是只是一个传统影视公司,很难获得投资人的青睐。

他也明显感觉到,整个AI影视的探索步伐在加快,使用AI的人和作品也越来越多。六月以来,央视频的三部曲《英雄》《爱永无终止》《奇幻专卖店》,抖音即梦AI支持的《三星堆:未来启示录》等AI短片正在密集上映。在这些短片背后的技术层面,爱诗科技PixVerse、Luma AI的Dream Machine、Runway的Gen-3 Alpha、开源项目Open-Sora、谷歌DeepMind的V2A等一众技术产品也迎来了新一轮的更新潮。

目前,技术仍然决定了最终作品的“天花板”。

“我们这个阶段的创作者,多少仍有些心有不甘。”闲人一坤说道,“技术在不断地进化,一个新版本的迭代,就可能会将原来的上限打破。”