从0到1打造AI电影！基于WorkRally的创作实践

作者：hangyh

1个人10晚用WorkRally做了部电影AI漫剧【龙舟】，本文将全面分享电影AI漫剧【龙舟】的【AI制作技术全流程】，借助AI完成一场和老同学最后的告别吧。

突然收到了老同学去世的消息，几周前还在和他聊下次来北京或者回老家要吃饭好好聚聚，连一句再见都没来得及说。

想起上学一起参加学校比赛，我们说活着这一世，要给这个世界留下点什么自己存在过的痕迹，于是创作了这部电影AI漫剧【龙舟】，参加了【PCG·AI漫剧主题赛】，拿到 🏆【亚军】。

1个人10晚用【WorkRally 我可接力】做了部电影AI漫剧【龙舟】，本文将全面分享电影AI漫剧【龙舟】的AI制作技术全流程，借助AI完成一场和老同学最后的告别吧。

 90s高燃预告 - 电影AI漫剧【龙舟】 

 全片 - 电影AI漫剧【龙舟】 

海报 - 电影AI漫剧【龙舟】 

【龙舟】AI原创主题曲

👗 女声版：QQ音乐链接

😄 童声版：QQ音乐链接

🎩 男声版：QQ音乐链接

QQ音乐 - 龙舟电影原声带 - 专辑

更多6首原创【AI配乐】可在QQ音乐上听。

混元3D - 【龙舟】游戏场景AI生成 

将【龙舟】电影中的教室场景设定图给到【混元3D世界模型】一键生成游戏场景建模，甚至可以在里面行走游玩。

 AI创作全流程 

1. AI辅助剧本创作

整体剧本用混元写了个大概，然后人工强参与改了3个晚上，一开始有些想法放进来发现有些冗余，定了剧本故事在做的时候也会发现很多不合理的地方，就一边做一边改，到最后几天剧本故事其实也是一直在微调，AI能给的是一个格式很好的基础剧本，但是亮点和逻辑细节还是需要人工自己的想法调整。

【龙舟】详细剧本👇https://docs.qq.com/doc/DQ0FzU0tQVm9QRmRv

2. AI文字设定脚本

这里主要让元宝根据剧本给了我一些人物文字设定和人物关系图，方便后面的人物画面AI生成。

【龙舟】详细设定脚本档案👇https://docs.qq.com/doc/DQ1Bha2NMUEtORXh1

这里是直接将剧本整理成文档发给元宝，让整理出剧本中的人物设定脚本方便下一步的角色形象生成，这方面的需求元宝的表现很好，在剧本确定的情况下，不但给了我角色的详细人物小传，还自动补充了人物关系图，人物视觉倾向，人物心理弧光，以及人物表演建议，这些细节可以更好的帮助理清整个故事逻辑。

 人物关系图谱

其他详细的部分放到了文档链接里，想仔细看的话可以直接访问链接。

整体上看来，混元能够通过上传的剧本文件，比较好的归纳总结剧本的人物关系，并根据剧本内容给出画面的风格设计建议与比较生动的人物小传，这里我是挑选了一些比较符合自己想法的设定开始了人物的下一步画面设计生成。

3. AI人物、场景、道具画面生成

接下来我这先定的是人物角色卡，结合混元给到的人物小传建议，并自己的人工二次加工，开始确认每个角色长什么样子，穿什么服装。

画面风格上这里选择了3D动画电影的风格，场景上主要想贴合真实的童年回忆，所以会比较写实。

AI工具上主要是在WorkRally的无限画布中进行，做的时候是4月份，刚好GPT-image2开始火起来，刚好看到司内的Venus平台接入了GPT-image2的接口，就结合着用了下。

3.1 AI参考搜索与画面风格确定

设定的画面参考利用了元宝的检索和画面生成功能，让元宝直接帮我搜索了很多05年左右的乡村稻田参考图、人物参考图，并结合着来生成人物与场景的设定画面。

搜索这些参考图主要是不想有基本的常识错误，比如6月的南方乡村的农作物长什么样子，稻田的颜色该是绿色还是黄色，人物和稻子的比例等等，为之后的人物设定图和场景道具设定图生成提供正确的细节方向。

风格上，选取了3D动画风格。

3.2 人物角色画面AI生成

接下来就开始生成人物角色画面设定，工具上使用了WorkRally 我可接力、三谦（image2）等回切换。

选好了基础的正面形象设定后，让AI继续生成人物的三视图备用

3.3 场景画面AI生成

场景画面主要想还原05年的真实乡村场景质感，刚好4月GPT出了image2，很多人用image2输出千禧年的照片图，看着就真的像是老照片，也它生成了很多场景设定图。

3.4 道具画面AI生成

龙舟剧本中比较重要的道具就是两个孩子做的手工龙舟，这里用元宝设计了很多平面的手工龙舟设定，然后用Nano Banana Pro转换成3D风格。

当然废稿也很多，可能就需要人工强参与去选择抽卡调整提示词。

片中最后的纸船道具是用GPT-image2进行生成。

解释一下为什么要各个接口来回切，主要因为同样的指令不同的接口给到的图片效果不太一样，文字上 GPT-image2和Nano Banana就生成的比较好，但也不是百分百成功，当一个接口的效果始终达不到预想的时候，就切换接口尝试了。

4. 【WorkRally】资产库搭建

在所有的人物角色形象、主要场景画面、道具画面都确认后，我这里将要不断调用的资产导【WorkRally】的资产中进行统一管理，也方便后续的参考主体的AI动画视频生成。

在创建角色的时候，先用WorkRally生成一段带角色说话的视频，然后将角色的音色导出为WAV格式放到WorkRally的角色资产库中，这样方便之后的主体参考生成视频的角色音色统一。

同理可以把每个角色的资产库都按以上方法搭建好。

为了保障龙舟化龙之后的一致性，这里把龙也当做了一个角色放到了角色资产库中。

同时这里也把很多画面中反复出现的道具和场景放到了资产库中，保证道具和场景的一致性。

5. 【WorkRally】动画视频生成

当确定好了所有的角色画面、道具画面、场景画面，并在WorkRally中搭建好了资产库后，便开始根据剧本制作每个分镜的动画视频。

总体上使用的是WorkRally的无限画布，方便将所有的视觉元素和生成结果放到一起进行统一管理查漏补缺。

整个项目在WorkRally的无限画布中生成了【788张图和850段视频】。感谢WorkRally的大力支持，太好用了！！！

整体上镜头数量太多了，这里就不一一详述了，这里选几个镜头进行详细的生成演示。想要详细看每个镜头的生成细节的可以直接访问我的无限画布观看。

【龙舟WorkRally无限画布全工程】👇

【龙舟】无限画布全工程https://workrally.qq.com/toolbox/canvas/9m043p8x7sdsztvtqrxv15j

5.1 WorkRally动画生成演示1 - 化龙

这里先考虑一下整体的动画视频生成策略，AI生成的视频不管什么模型都可能自动配上背景音乐，但是对于长片来说，有了背景音乐在剪辑合成的时候反而很麻烦，于是在分镜片段生成的过程中，我这里加入了不要背景音乐只要人物说话声音和音效声音的限定。

那成片中化龙的动画视频桥段是怎么制作的呢，这里一开始的出场桥段是个人是想要一些夸张的形变，富有张力感一点，有一种无数稻子从四面八方汇聚成一个巨龙的感觉。

这里尝试的模型接口就比较多了，可以看到WorkRally的视频生成模型接口选择非常多，然后每个接口擅长的点都不太一样，也是看到标注说Zen-07接口会比较适合打斗动作场景，于是使用他做了一下首尾帧的变形尝试。

就视频生成结果来看，虽然视频的形变效果会比较有张力，但是没有声音…

那如何在保留这个动画视频效果的同时给配上音效呢？并同时在巨龙的头上加上两个主角？

这里尝试了一个小技巧，将Zen-07生成好的动画视频作为主体参考视频，将WorkRally的模型换成Zen-SD2.0，采用参考主体的方式重新过一遍，就让AI在不改变原有视频动画效果的同时，加上了音效和小细节。

当然目前的效果也无法做到直接用，少不了多抽点卡然后剪辑出可以用的镜头，下面是一些抽卡结果：

当然不能只看选中的片段，AI生成的结果，还是需要不断的调整提示词，比如在生成过程中，AI总是自动给龙加上翅膀，于是总要在提示词中写上不要翅膀的限定词。

以下就是一些AI生成的鬼畜视频👇

在WorkRally中的不断的抽卡后，才最终剪辑出了成片中的龙舟化龙成片，抽卡次数太多了这里就不一一展开演示了，想要详细看每次抽卡结果的话可以直接访问下面的WorkRally【龙舟】无限画布的全工程共享链接。

【龙舟WorkRally无限画布全工程】👇

🔗 【龙舟】无限画布全工程https://workrally.qq.com/toolbox/canvas/9m043p8x7sdsztvtqrxv15j

5.2 WorkRally动画生成演示2 - 龙消散

巨龙消散也是变片一个比较重要的桥段，角色和巨龙的交互，巨龙化作无数稻子消散出现手工龙舟，角色抓住手工龙舟下落，想想怎么给AI描述这个情节就有点头大，那下面来看看具体的描述内容。

成功总不是一蹴而就的，就像AI动画需要不断的抽卡，可以看到抽卡结果有时候角色和龙的位置不对了，有时候手工龙舟的结构不一致了，角色眼泪乱飚了，都需要不断优化提示词去进行微调。

5.3 WorkRally动画生成演示3 - 稻田海

这里想要的动画是纸船在水稻组成的海浪中乘风破浪，然后镜头推进展示在麦浪中的片名【龙舟】这里的工作流也主要是主体参考，使用Venus的image-2和 Nano Banana进行关键画面的生成。

完成了关键画面的生成，然后再使用WorkRally进行画面视频生成。

6. 【龙舟WorkRally无限画布全工程】

【龙舟】想要查看每个分镜制作具体细节的可以直接访问龙舟的WorkRally无限画布全工程。

【龙舟WorkRally无限画布全工程】👇

🔗 【龙舟】无限画布全工程https://workrally.qq.com/toolbox/canvas/9m043p8x7sdsztvtqrxv15j

想要查看每个分镜制作具体细节的可以直接访问龙舟的WorkRally无限画布全工程。

7. 原创【配乐】AI制作生成

龙舟全片的配乐一共用Suno生成了9首，其中3首主题曲用的同一套歌词，6首电影情节的纯音乐配乐。

主题曲歌词上这里将整个剧本的文字内容上传给到元宝，然后让元宝根据剧本的内容，生成贴合故事的歌词：

这是一首为你量身定制的主题曲。

去掉了宏大的管弦乐，只留下一架老旧的立式钢琴。没有押韵的执念，像是在聊天，又像是在叹气。歌词里全是剧本里那些琐碎的小事：绿舌头雪糕、粘手的米粒、生锈的水龙头。这种"淡淡的忧伤"来自于——我们当时以为那是全世界，后来发现那只是一下午的时光。

主题曲：《还没做好的龙》

演唱：清澈的少年音（介于童声和成人之间）　

伴奏：单薄钢琴（不加混响，像在空荡荡的教室弹奏）　

风格：民谣叙事 / 治愈系忧伤

【歌词】

(Intro)（钢琴慢悠悠地响起，几个单音，像水滴落在讲台上）

(Verse 1) 放学铃 响过了　凳子 翻在 课桌上　你递给我 半根 绿舌头　说是 最后一支 奖励

(Verse 2) 那天下午 太阳 特别长　我们 躲在 角落里 忙　废纸壳 折的船 有点晃　你说 加上稻子 就不慌

(Chorus) 你拧上 那个 生锈的 水龙头　非说 那是 一条 活着的 龙　我笑得 趴在 地上 喘不过气　没敢说 其实 它长得 挺滑稽

(Verse 3) 手上 沾满了 黏糊糊的 胶水　那是 还没成型 的 夏天味　十块钱 的车票 好像 也不贵　只要 赢下 这场 比赛 就能 看见

(Bridge) 雪糕 化得 太快 还没 舔几口　龙舟 做得 太慢 还没 长出 头　那时候 我们 都不知道　有些 约定 其实 比纸 还薄

(Chorus) 你跳起来 把橡皮鸭 按在船头　嘎的一声 吓退了 窗外的 牛　你说 这就叫 乘风破浪　我说 这就叫 异想天开 的 朋友

(Outro) 后来 那个水龙头 生锈得更厉害　后来 我再也没 吃过 那么甜的 冰　只有 那个 雪花球　还在 课桌上 孤零零地 转

(钢琴最后一个音 轻轻落下)（音效：风吹动破旧窗帘的 沙沙声）

🎹 制作与演唱笔记

1. 钢琴触键：要弹得"笨"一点。不要有太多技巧，就像一个小学生在音乐课上弹练习曲，左右手配合得不是很紧密，中间有空隙。左手甚至可以不弹和弦，只弹单音的根音（Do - So - Do - So）。
2. 歌词的通俗感：特意用了"绿舌头"、"滑稽"、"异想天开"这些词，不是为了押韵，是为了真实。"凳子翻在课桌上"是剧本里的空镜，也是无数人童年的共同记忆。"有些约定其实比纸还薄"是全曲最扎心的一句，要唱得最平静，仿佛在陈述一个事实。

这首歌不需要惊艳，只需要耐听，像那个下午的夕阳一样，照在身上，有点暖，也有点凉。

然后将元宝中修改微调的内容复制到suno里面进行不断的调整提示词和抽卡。

【龙舟】AI主题曲

一些故事桥段的纯音乐，我这里是自己手写了点提示词，个人比较喜欢女高音的吟唱声音，就在提示词里加了很多女高音吟唱的元素。

然后就是上传到QQ音乐做了个电影原声带专辑。

QQ音乐 - 龙舟电影原声带 - 专辑。

8. 【海报等宣发物料】AI制作生成

海报这里的AI生成主要是用了一些成片中的关键帧和关键道具做了一个混合参考生成。

当然少不了优化提示词和抽卡。。。

定好基础的横版海报，也顺手生成了竖版海报和带透明通道的名字图片。

最后：希望我们都能好好告别 

和小鹏最后的微信聊天界面停在了

他说："这次来北京出差太赶了，下次回重庆我们再好好聚"

我说："好的，那下次来北京再请你吃饭"

这次AI漫剧大赛，希望能使用AI补上我们没来得及的告别吧。