大家好,我是Jiahao,目前在Gary和方波妮教练的指导下,在努力成为一位优秀YouTuber的路上。经过一个多月的实战陪跑,已开通两个YPP,更多YPP正在路上。
之前看到优秀圈友香君高效制作优质视频的精华帖,深受启发,于是尝试在香君的思路基础上,实现制作AI视频的自动化工作流。值得高兴的是,由于站在巨人的肩膀上,我把它做出来了,因此斗胆在此向各位大神分享一下我的思路,还望大家不吝赐教。
在本文的末尾,我会分享自己开发的基于Runway的图生视频RPA工具,感兴趣的赶紧用起来,解放双手吧!
最终实现的效果
我目前在做AI达人秀赛道的Shorts,撇开复刻爆款,制作这类视频的流程是设计分镜 --> 分镜生成关键帧 --> 关键帧生成视频 --> 拼接视频。
这个流程里,其实有很多环节都可以上自动化,只是目前以我的能力未能全部串在一起。最终我能实现的效果是除了某些分镜图片PS,以及图生视频的审核需要人工介入,其他都实现了自动化处理。
其实不仅是AI达人秀,很多其他赛道,只要能基本实现标准化动作的,都可以考虑上自动化的方案,让自己的时间花在更重要的事情上。希望本文可以给大家一些启发。
方案概述
本方案主要使用coze(扣子)、影刀(RPA)、豆包、Monica、Runway、飞书。 coze:实现达人秀场景设计并自动生成多张备选分镜图片; 影刀:实现自动操作提供web界面客户端的工具,如Monica、Runway(不是不想用API,而是API太贵); 豆包:与coze同为字节旗下产品,能与coze完美集成,偶尔生成的图片不满意可单独使用来补充一下(有人说豆包生图的质量不行,但亲测发现其实只要提示词写得好,豆包也很好用的); Monica:一个AI集成器,可以随意调用GPT、Claude、Gemini等大模型,我主要使用claude为我生成首尾帧图生视频的过渡关键词; Runway:图生视频,主打一个便宜,除了动作幅度较大的场景,整体质量也还不错; 飞书:存储通过coze生成的场景和对应分镜图片,方便管理。
工作流实现过程
下面的过程有一些代码和提示词比较长,有不少圈友想要复制,请点击此链接,已全部整理出来: 相关代码和提示词(可复制版,解放双手,任何人都可以复刻的高效AI视频制作工作流) 不要一看觉得好像很复杂不想搞,想想你后续要花费的手动一段一段提示词去生图浪费的时间和那种心灰意冷,下决心一次性解决它! 因咨询量很大,精力上兼顾不到远程协助调试,请大家严格按照文档来操作,100%成功的,感谢理解。


下图是我整个工作流的目录架构: 001是存放达人秀场景设计+自动生成分镜图片的工程,这一步需要人工介入审核图片、必要的P图(一个最终视频为一个工程,也就是说,如果你现在要做一个视频,这个视频有4个分镜,那么你就在001目录下面,创建一个代表视频的目录,例如“视频1”,然后将这4个分镜的图片拖进去这个目录。下面002-005都是一样,举例如下图); 002是已经确定了分镜图片,但是未生成首尾帧图生视频提示词的工程,这一步由影刀去处理; 003是已经生成了图生视频提示词,等待生成分镜视频的工程,这一步由影刀去处理; 004是已经生成了多个备选分镜视频的工程,这一步需要人工介入挑选视频; 005是已经确定了分镜视频的工程,这一步就是给剪映输出成品; 以上只要能自动化的,都会执行完成后,自动将对应的工程拷贝到下一个工作流节点的目录,因为我自己有购买华为云服务器(之前比较便宜一年才200多块钱),所以自动化部分我基本都是放到服务器上跑,通过百度网盘进行同步。如果有多一台笔记本,也可以用同样的思路去处理。
达人秀场景设计+自动生成分镜
这块实现起来最复杂,得稍微懂点技术,有过工作流搭建经验的也很容易学会。本来想做出来以后也直接分享给大家直接用,可是这玩意是谁开发用谁的额度,这就不现实了,所以教大家自己去尝试搭建。
整体的实现思路是我给定一种动物,由coze自动调用豆包生成几个分镜的文生图提示词,并且自动拆分分镜提示词,每个分镜生成4张备选图片,最后保存到飞书表格中。
飞书表格中的效果,这个环节执行完成后会自动生成一行记录,包括备选的标题、场景提示词、每个场景的备选图片链接:

为了更好的阅读体验,来飞书看吧:
https://gpbr9zf6b9.feishu.cn/wiki/Ni0Dw2LdZiwbIZkcTBQc9C2Dn4d
Comments on "解放双手,任何人都可以复刻的高效AI视频制作工作流" :