声明：本文来自于微信公众号 硅星人Pro（ID：Si-Planet），作者：summer，授权Soraor转载发布。
仅概念片就获得 60 万全网浏览量、刚刚播出 3 集快手单平台播放量破 1000 万、首播登上院线大屏幕......
这并不是某一个明星大咖出演的大制作电影，而是国内第一部由AI生成的原创玄幻短剧《山海奇镜》。
上周末，《山海奇镜》在快手星芒短剧正式上线，以《山海经》为背景讲述了人与奇幻神兽之间发生的冒险故事。全剧分成了多个单元，目前上线的第一个单元《劈波斩浪》，围绕着一位少年为救母亲与海底巨兽展开殊死搏斗展开。而之所以短片一经上线便获得了高度关注，除了内容本身之外，从剧本创意到分镜、美术、特效再到最终生成视频，都是由导演闲人一坤为主的 10 人小团队通过AI工具完成的。
从院线首播的效果来看，这个由快手可灵生成的版本已经足够流畅，几乎脱离了原先AI视频的动态PPT既视感，单个镜头大多在3~5S，特别是在人物和景象的变化，包括共工破山、海浪翻滚、山石崩塌等物体运动幅度较大，且符合了物理世界规律。
例如，从侧身半蹲到站立转体的人物运动过程。
还有此前AI很难完成的多角色动作交互，在当前版本能够完整呈现出来，神话角色的大表情神态以及镜头的旋转配合得十分自然。
不过，从观众的角度来看，还是摆脱不了一定的AI感。站在AI视频技术发展的角度，大部分“老铁”还是持赞赏态度的，而将《山海奇镜》与现在短剧水平进行对比的观众，把真人演员当作尺子，往往会觉得AI“僵硬”“没有灵魂”“好假”。
闲人一坤本人也讲道：“成片中仍然有一些令人遗憾的形变，但技术在不断进化，下一个版本会更好”。
《山海奇镜》制作的全过程是什么？是灵光一现还是有迹可循？普通人能复制，创作AI短剧么？
带着这些问题，我们与《山海奇镜》的作者闲人一坤聊了聊他从 2023 年 11 月至今的AIGC创作探索之路。
1
《山海奇镜》前传
准确的说，从 2023 年 11 月之前，《山海奇镜》只是闲人一坤的一个想法，并没想过能真正落地。
ChatGPT爆火以后，他尝试过用ChatGPT聊创意（闲人一梦）、画图（马良）、写论文（MOJI ）、做游戏(阿凡达)，但这些都是简单的尝试，并没有进入到生产阶段。
4 月，闲人一坤在和“闲人一梦”的聊天中，第一次有了做一个山海经短片的想法，在对话中萌生了最初灵感。
在ChatGPT给出了短片的思路和脉络之后，在后面的系列AI产品测试中，闲人一坤都将奇幻短片作为了自己的核心创作主题。他先是尝试过自己的GPT马良生成图片，发现效果并不理想后，又开始在Midjourney中调试Prompt，生成了一些“怪兽”的原画图。
在Midjourney 6. 0 版本，有一些人物与怪兽交互的原画图开始有了具象化的产出。用闲人一坤的话说：“这让人喜出望外”。
图片来源于 闲人一坤
当根据分镜脚本“搓完了”概念图之后，有了在Midjourney上的一些图片素材的积累，下一步就是将它们视频化。
时间来到了 2023 年 10 月，彼时，国内并没有太成熟的视频生成产品，“Runway还不错，特别是Motion Brush的功能，在控制一些局部大动作的时候，能够做到想动哪动哪，后来我又拿到了Pika1. 0 的试用权，第一时间冲上去肝了一宿。”
起初，闲人一坤非常激动，但真正使用过各类AI视频工具后发现，大多数的效果都不尽人意。“说实话，结果让我有点失望，比如有的图片已经做到了高清，但是生成出来的视频非常模糊。”
12 月，在一个偶然的机会下，爱诗科技的产品团队进行前期调研时问到了闲人一坤的想法，并提出近期上线一个可以超分的4K功能（类比Midjourney的Upscale功能），尝试之后的生成效果，让闲人一坤“直接泪目”。
图片来源于 闲人一坤
至此，闲人一坤才有了将《山海奇镜》真正做出来的想法，并开始和自己的团队一起进入正式的生产流程。
1
10 天生成概念片，半年推出正片
在真正落地之前，剧本创作的第一步就把闲人一坤难住了。
现如今的大语言模型，只能给到一些零散的创意，并不能系统性地生成可用的剧本。虽然《山海奇镜》的题材是玄幻故事，但仍然是基于现实世界和新的世界观打造的，目前AI编剧还无法给出符合预期的作品。
闲人一坤认为，在AI技术还不够真实的现阶段，故事吸引力是内容效果的主力支撑，在这个环节，目前仍然需要真人编剧进行创作。
打磨好剧本，在制作环节，就轮到AI工具出场了。
有了过往的经验，闲人一坤的工作流是：按照着通过Midjourney文生图确定影片画面，一遍一遍地调整提示词，保持人物一致性，生成稳定、清晰、准确的画面素材，而后再将这些图“喂”给PixVerse或可灵等图生视频模型，生成预告片和正片素材，最后再给到后期人工剪辑。
“目前文生视频很不可控，前后人物的稳定性不高，更容易出现Bug，而将Midjourney生成的图喂给Runway、Pika、可灵再做视频生成之后，就可以人为地提供一致性和稳定性了。”
这意味着，最终视频生成的画面、效果、美感都押在了Midjourney生成的图片上。一遍一遍地产出、反馈、重新产出，经常需要在几十次生成里找到心仪的那个。
视频中一闪而过的这张老人图，闲人一坤就经过了多轮调试，具体提示词也非常专业和复杂：Front view， close-up， ancient times， white haired Chinese old man looking towards the camera， with eerie eyes and a hint of eerie smile at the corner of his mouth. His clothes are blue， with a realistic photography effect and indoor candlelight effect，翻译过来就是：正面面对镜头，特写，古代，一位白发的中国老人看着镜头，眼神诡异，嘴角带着一丝诡异的微笑。他的衣服是蓝色的，具有逼真的摄影效果和室内烛光效果。
团队用了 10 天时间，让上述工作流在PixVerse上生成了 1 分 49 秒的预告片并对外发布，在AI的社区和影视社区后引发了广泛讨论，仅概念片就获得了全网60 万的播放量。闲人一坤更加坚定将《山海奇镜》做成正片的想法。
但在 4 月到 5 月，技术本身没有太大的迭代，闲人一坤使用了各种图生视频的AI软件，都遇到了生成的效果动作幅度太小的问题，难以摆脱“PPT式影片”的风格，在很长一段时间里，闲人一坤讲道：“每一天都是最难的一天”。
“我们甚至考虑过用ComfyUI去搭建工作流、绿幕动捕转绘，但不论是哪一种，都不是很满意。要么就是动态ppt，要么就是没法跟背景完美融合，不论如何抽卡，如何剪辑，总是达不到理想的效果。”
直到今年 6 月，可灵的出现，将视频生成的一致性和逻辑性又提升了一个台阶，闲人一坤随手 1 小时做的视频，竟然在X上获得了10W的观看量。他察觉到可灵或许能够解决当前自己遇到的瓶颈，于是找到可灵的团队，提出希望深度合作的意愿，将 5 月底已经生成的作品，又花了 10 天用可灵重置了一版。
以前面提到的水神共工从山中站起的镜头为例，在最终的呈现版本里，可灵不但完成了“站起来”的动作，甚至于整个人物还实现了立体的转体，肌肉的质感和头发的飘逸都符合了闲人一坤的要求，“这个镜头在原来的传统影视工业当中，需要很长时间和很大资金成本的。”
不过，整个重置过程，也并不是完全顺利的，仍然非常依赖一遍一遍地“抽卡”，有一个水神共工和火神打架的镜头，因为涉及到大幅度的动作交互，闲人一坤让可灵跑了 100 遍，但在成片中仍然有一些令人遗憾的形变。
1
《山海奇镜》可以被复制吗？
《山海奇镜》是可以被复制的吗？答案是肯定的。
通过闲人一坤团队的探索路径来看，目前他们已经形成了一个完整的工作流，在这个工作流中，除了剧本制作和后期剪辑是人工完成，其余环节均由AI生成。
另一方面，《山海奇镜》的出现，意味着小团队、低成本的视频创作，有了更多后续商业化的可能。
《山海奇镜》的预告片之后，来找闲人一坤合作的机会络绎不绝，文生图+图生视频的工作流也被他们这个 10 人的小团队多次验证。
在 2 月，闲人一坤正式做完了第一个商业化案例，给梅兰芳制作一个AI短片。而后又陆陆续续接到了多个AI影视项目，比如给北冰洋做的AI广告，湖南卫视的一些宣传片，还有目前正在给亚洲冬季运动会的主题曲做MV等等。
除了闲人一坤的尝试，其他的AIGC团队也接到了AI广告项目。例如三星堆未来启示录的项目成员给京东制作的广告视频；更多人还在探索，如小红书博主@火山的AIGC尝试用可灵给奔驰制作的短片案例等等。
一方面，广告作为商业内容，本身时长不长，且对于人物表演要求不大，大多是物体的运动和展示，目前的技术已经能较为合理地呈现出来，其次则是相较于实拍+传统特效，AI视频的成本更低，以《山海奇镜》为例，闲人一坤透露整部片子的成本，只是之前一个特效画面的钱。
除了接项目赚钱，闲人一坤的星贤文化已经决定ALL in AI，甚至刚刚完成了种子轮融资，可以试想的是，在传统影视寒冬没完全过去的时候，如果是只是一个传统影视公司，很难获得投资人的青睐。
他也明显感觉到，整个AI影视的探索步伐在加快，使用AI的人和作品也越来越多。六月以来，央视频的三部曲《英雄》《爱永无终止》《奇幻专卖店》，抖音即梦AI支持的《三星堆：未来启示录》等AI短片正在密集上映。在这些短片背后的技术层面，爱诗科技PixVerse、Luma AI的Dream Machine、Runway的Gen-3 Alpha、开源项目Open-Sora、谷歌DeepMind的V2A等一众技术产品也迎来了新一轮的更新潮。
目前，技术仍然决定了最终作品的“天花板”。
“我们这个阶段的创作者，多少仍有些心有不甘。”闲人一坤说道，“技术在不断地进化，一个新版本的迭代，就可能会将原来的上限打破。”