把一篇公众号长文做成解说视频,卡住大多数人的不是剪辑技巧,是同一套动作要重复上千遍:把稿子切成一句一句、每句配一段声音、把声音和字幕对到帧、再一句一句去找能对上这句话的画面。十分钟的片子,光把这几条对上就够磨一天,改一句词又得从头对一遍。
hongqun/we-video 想接走的就是这一段。它不生成视频,是一个自己部署的工作台:你把文字稿给它,它出配音、出字幕、把每个镜头该放什么画面逐条编成清单(也就是编排:哪一秒出现什么、什么时候消失),最后用代码一帧一帧把画面画出来、合成一个 MP4。我在沙箱里把它从装到播出样片走了一遍,最快那条路不需要任何模型密钥:一条命令,不到 41 秒渲出一条 40.68 秒的成片。
一、它把哪三步手工活接走了
先说谁用得上:手上本来就有文字稿、要做知识或观点类解说视频、而且一周要出好几条的人。
一句话定位:它接走的是「文字稿 → 配音 → 字幕 → 逐镜头画面 → 成片」这条流水线;它不接「生成素材画面」。画面来自 11 个镜头模板,加上你自己上传的图片、3D 模型(GLB,一种 3D 模型文件格式)或手绘线稿——仓库里没有文生视频模型。
原理只讲一个点,但它决定了这个项目的全部气质:它把「第几秒画面上出现什么」写成了一份可校验的数据(项目里叫契约,也就是画面数据的格式规定,字段写错了就保存不进去),而这份数据是从口播稿算出来的。口播稿就是要念出来的那段文字。所以字幕时间、镜头时长、画面出现的时机不是三条各自对齐(也就是把声音、字幕、画面卡在同一时刻)的轨道,它们是同一次计算的三个结果——你不会遇到「字幕比声音快半句」这种事,因为它压根没有两个独立的源。
下面是它替你换掉的东西:
| 没有它的时候 | 用了之后 | 代价 / 前提 |
|---|---|---|
| 按月订阅视频生成模型,按秒计费,额度用完就停 | 自己部署,片子在本机渲,不订阅 | 要一台能跑 Chrome 的机器;只有文本和语音环节调模型 |
| 在剪辑软件里一句一句对字幕、对画面 | 口播、字幕、镜头时长同源,一次对齐 | 得先接受它给的镜头编排,再在里面改 |
| 换一版画面要重新抽卡,结果不复现 | 画面是数据加组件,改一个字段重渲一遍,同样的输入出同样的片子 | 那 8 份格式规定你得读得懂 |
| 一条做完,下一条从头再来 | 11 个模板加一份专栏配置,视觉语言能批量复用 | 模板之外的花样要自己写组件 |
11 个模板里有三个值得单独说,因为它们不是「贴图」,是替你想了一步:
- 手绘讲解:你给线稿,它按口播的节奏一笔一笔落笔——说到哪个词,笔才画到那一笔。这件事没人愿意在剪辑软件里手工对。
- 3D 模型讲解:给一个 GLB 模型,它按口播内容编排环绕、特写和标注出现在第几秒。
- 自动图表:由一个独立的小助手先设计好图表(节点、连线、每步什么时候出现),再把设计好的结果交给渲染层。设计和渲分成两步,所以图可以改,不用重来。
二、怎么用起来
如果你只想看看它长什么样,一条命令,不需要任何密钥:
npm ci
npx remotion render src/remotion/index.ts TechShortVideo out.mp4
Remotion 是用 React 组件逐帧画视频、再交给 ffmpeg 合成 MP4 的框架。这条命令渲的是仓库自带的示例镜头,我实测不到 41 秒渲完一条 40.68 秒、1080×1260、30 帧每秒的片子。先花一分钟看到成品,再决定要不要投入后面那些配置,这是我建议的顺序。
真要开工,四步:
| 步骤 | 做什么 | 我实测的耗时 |
|---|---|---|
| ① | npm ci,再把配置示例目录里的两份样例复制成正式配置(一份放登录密钥与接口密钥,一份放模型与音色) |
38.76 秒,装了 429 个包 |
| ② | 在 .env 里填登录密码和会话密钥,再填两个模型密钥(文本用的 DeepSeek、语音用的百炼);在配置文件里填百炼的工作空间 ID 和音色 |
看你去阿里云后台开号的熟练度 |
| ③ | npm run dev,浏览器打开 127.0.0.1:3100 登录 |
起服务几秒 |
| ④ | 进 /profiles,只填一个专栏名就能保存,然后开始第一条 |
一分钟 |
第 ② 步那两个密钥要分开理解:文本模型负责把文章改写成口播稿、把镜头编排成数据;cosyvoice 是阿里百炼的语音合成模型,负责把口播稿念成音频。少任何一个,「文章到成片」这条主线就断在半路——这也是我没跑通的部分,下面会讲清。
三、我实测到的,和你要注意的坑
先说我跑通的部分,全部在这台 4 核、无显卡的机器上:
| 项目 | 实测结果 |
|---|---|
| 安装 | npm ci,429 个包,38.76 秒 |
| 静态检查 | 0 个错误、25 条警告,10.93 秒(警告全是动画纯度提示) |
| 生产构建 | 27.84 秒,峰值内存 1.6 GB |
| 渲染成片 | 40.73 秒渲出 40.68 秒片子,1219 帧,1080×1260,30 帧每秒,2.05 MB,H.264 视频加 48 千赫立体声 |
| 画面质量 | 第 0 帧亮度 233、全片平均 243(浅色底),整片没有一处黑场 |
| 起服务 | 健康检查 200,根路径 307 跳登录页,登录页 200 |
这台机器没有显卡,画面靠软件渲染,40 秒的片子渲 40 秒——够用,但这是我这台机器的条件,不是项目给的指标。
然后是坑。
坑一:npm test 一条命令跑不完,第一个就断。
我第一次跑 npm test,退出码 1,断在 contracts 这个测试上:断言要求一个副标题保留尾部空格,而实现里有一句 .trim() 把它削掉了。这是项目自身的问题——测试和实现对不上,不是我环境的事。
所以别把「测试全绿」当质量证据。我把 21 个可跑项分成三组单独跑,结果是 14 项通过、7 项不通过:
| 分组 | 通过 | 不通过 |
|---|---|---|
| 命令里直跑的 6 个脚本 | 4 | contracts、narration |
| 它内部串的 8 个子命令 | 7 | translation |
| 它的命令里没串的 7 个 | 3 | profiles、handdraw-explainer、两个 Python 测试 |
所以你该怎么做:要用它之前,别信 npm test,按这三组自己跑一遍,红的那几个心里有数。
坑二:有些测试红不是代码坏了,是你缺「内容库」。
narration 和 translation 的失败原因是一样的:测试里写死了一个叫 tech123 的账号目录,而那整个 data/ 目录被 .gitignore 忽略了,仓库里根本没有这套样例内容。报错是文件找不到,后面跟一长串格式校验失败。
所以你该怎么做:想跑全套测试,得先照 content/README.md 自己建一套内容库(账号、专栏、提示词模板)。你要是只想知道主流程能不能走,跳过这两项,别卡在这儿。
坑三:跟专栏相关的那组测试,是编译期就挂的。
test:profiles 直接报 38 条错,全是同一句:顶层 await 不支持当前的 CJS 输出格式。根因是 package.json 里没有 "type": "module" 这个字段。我在这台机器的 Node 24.22.2 上复现,之前记录里 Node 22.23.3 也一样。这也是项目自身的问题。
所以你该怎么做:这组测试现在跑不了,但专栏功能本身能用(我在服务里确认过接口是通的)。你要依赖专栏批量出片之前,自己在页面上验一遍,别指望测试替你验。
坑四:两个 Python 测试要单独装依赖。
引用 numpy 的那个测试报模块找不到。手绘那条链路(线稿预处理、上色)是 Python 写的,需要单独 pip install -r scripts/handdraw/requirements.txt。文档里写了,但不在 npm 的安装步骤里,所以照 README 装完一定会红两项。
所以你该怎么做:不用手绘镜头就别管它;要用,先把这份依赖装上,别在跑测试时才第一次发现。
坑五:README 的部署指南是死链。
README 和它的英文版都在「开始使用」末尾链了一个部署指南,那个文件在仓库里不存在——.gitignore 第 14 行把它忽略了。我实测 ls 是「文件不存在」,同一段里另外四条链接(安装与配置、自动图表安装、手绘插画说明、成片交付说明)我逐个试过,文件都在。
所以你该怎么做:部署别点那个链接,照仓库里的 deploy/deploy.sh 和 docs/SETUP.md 走。
坑六:Node 版本两个门槛不一致。
docs/SETUP.md 开篇写「Node.js 20 或更高」,同一份文档第 40 行说自动图表那一步的技能安装工具要 Node 22.20 以上。package.json 里没有任何版本约束。
所以你该怎么做:直接装 Node 22.20 以上,一步到位。我实测用的是 24.22.2。
还有两件我得说清楚是我没法核的:
- 「参考成本约 0.1 元/分钟」这个数我没法验。 它是作者写在 README 里的估算,我在源码里搜过计费、定价、账单相关的东西,一处实现都没有——这个工具本身不算账。我又没有任何真实的模型密钥,所以这条主线(文章 → 口播稿 → 配音 → 逐镜头编排 → 成片)我没有端到端跑过。我跑通的是安装、构建、检查、用自带示例渲出成片、起服务、14 项测试。别把我上面那条 40.68 秒的成片当成「完整流程 40 秒出片」,它只是一个镜头编排好的示例被渲出来。
- 样片是全静音的,但这不是 bug。 我量了音轨,平均音量和峰值都是 −91 分贝,也就是空的。原因是示例配置里音频路径就是空字符串——示例数据本来就没带音频文件。渲染管线是出得了声的,只是要先经过配音那一步,而我没有密钥。
四、判断:什么情况下它值,什么情况下别碰
先把最难说的一句说在前面:这个项目 0 个 release、0 个 tag、0 个 PR,45 个提交全是一个人写的,唯一一个 issue 已经关闭。好处是主线干净、没有半成品功能堆着;代价是你踩到坑大概率没人接。
| 值得用 | 别用 |
|---|---|
| 一周要出 3 条以上知识/观点类解说片 | 只想日内出一条成品、不想配环境 |
| 需要画面完全可控、改一版能重渲(不是抽卡) | 要实拍、要 AI 生成素材画面 |
| 不想为视频模型按月付订阅费 | 不愿意自己付两个模型 API 的账 |
| 有一套稳定的视觉语言,想批量复用 | 需要团队协作、要版本线和发布记录 |
放回站内已经评过的坐标系里看,你该选哪个很清楚:
- 要「一句话进去、一条片子出来」,选 anything2explainer 这类把话题自动转成讲解视频的技能,或者 OpenMontage 那种搭一条完整流水线的方案。它们省的是「编排」,代价是画面由模型决定。
- 要「画面我说了算、改一版重渲一遍、不订阅」,选它。代价是画面得靠模板和你自己的素材,而且它只到「一条能上传的 MP4」,不管分发。
- 站内另一套走「用代码画」路子的 Stickman Video Director 是给 AI 助手一套技能去画火柴人动画;we-video 更偏产品:有网页工作台、有登录、有专栏管理,是给不写代码的人用的。
我的建议很具体:先花一分钟跑那条不需要密钥的命令,看它渲出来的 40 秒样片像不像你想要的东西。像,再花半小时装环境、开两个模型账号;不像,你省下的是后面所有的配置时间。
说实话,49 颗星、一个人的仓库,它现在不像一件能直接交给团队的产品,更像一个把「解说视频怎么量产」想清楚了的工作台。它替你对齐了最难对的那一段——声音、字幕、画面在时间上的一致——这件事只要你做过一次就知道值多少。
关注 AI商业快讯,每天一篇 AI 热点深度解读。