1. 从video-use这个模糊词说起它到底想解决什么问题第一次看到video-use这个标题加上项目正文和关键词全是空的我其实是有点懵的。但把相关热搜词扫一遍方向就清楚了Claude Code、ffmpeg、ElevenLabs、Remotion这四个词凑在一起指向的是一条完整的AI 驱动视频生产流水线——用 Claude Code 当调度大脑ffmpeg 做音视频处理底座ElevenLabs 负责配音合成Remotion 用代码渲染画面。所谓 video-use我理解它的本质是把视频制作这件事从手动剪辑软件里拖时间轴变成用自然语言指挥一套命令行工具链自动跑完。这个方向为什么现在值得聊因为过去做一条带配音、带字幕、带转场的短视频哪怕只有一分钟熟练剪辑师也得花二三十分钟。而一旦把流程拆成脚本生成 → 配音合成 → 素材处理 → 代码渲染 → 封装输出这几个可编程环节整条链路就能被一个 AI Agent 串起来人只需要在关键节点做审核和微调。这套东西适合谁适合有一定命令行基础、想批量产出视频内容的开发者、自媒体技术向创作者以及想把视频生成能力集成进自己产品里的工程师。零基础也能跟着走但你需要对终端操作不陌生。我下面要讲的不是某个官方文档的复述而是我自己把这条链路跑通、踩过坑之后总结出来的完整方案。核心工具就是那四个Claude Code 做编排ffmpeg 做底层处理ElevenLabs 出人声Remotion 出画面。整篇文章会围绕怎么让它们协同工作展开而不是孤立地介绍每个工具。2. 工具链选型的底层逻辑为什么是这四个而不是别的2.1 Claude Code 在流水线里扮演的总调度角色很多人对 Claude Code 的理解停留在一个能写代码的 AI 助手但在 video-use 这个场景里它的价值远不止写代码。它真正的定位是编排层orchestration layer——你给它一段自然语言需求比如把这段文案做成一条 60 秒竖屏视频配男声旁白加字幕它会自己决定调用哪些工具、按什么顺序执行、生成哪些中间文件。为什么不让脚本直接写死流程非要引入一个 AI Agent因为视频制作里有大量模糊决策文案怎么断句、每句话配多长的画面、字幕什么时候出现。这些用 if-else 写会爆炸但交给 Claude Code 去推理就自然得多。它能在执行 ffmpeg 命令前先想清楚参数在生成 Remotion 组件时先规划好时间轴。安装上Claude Code 现在有命令行版和桌面客户端两种形态。命令行版通过 npm 全局安装桌面版直接下载安装包。我建议做 video-use 用命令行版因为它能直接读写你项目目录里的文件和 ffmpeg、Remotion 的协作更顺。安装完第一次运行需要做一次授权登录之后在项目根目录执行初始化它会生成一个配置文件你可以在里面声明这个项目允许它调用哪些命令——这一步很关键等于给它划定了能碰哪些工具的边界。注意Claude Code 的可用性受地区限制安装前先确认你所在环境是否在支持范围内避免装到一半卡在授权环节。2.2 ffmpeg 为什么是绕不开的底座只要涉及音视频处理ffmpeg 几乎是唯一答案。它能把视频拆成帧、把音频抽出来、做格式转换、拼接、加字幕、调分辨率、推流几乎你能想到的所有底层操作它都能干。在 video-use 里ffmpeg 承担的是脏活累活ElevenLabs 生成的音频要转成统一采样率Remotion 渲染出来的视频要压制码率字幕要烧进画面背景音乐要混音。安装 ffmpeg 这件事本身就有坑。Windows 上官网只提供源码和第三方编译版最常用的是那个ffmpeg-master-latest-win64-essentials.zip包解压后把bin目录加进系统 PATH 才能全局调用。Ubuntu 上一条apt install ffmpeg看似简单但系统源里的版本往往偏旧某些新滤镜不支持需要的话得自己编译或者用静态构建版。macOS 用 Homebrew 最省事。验证安装是否成功别只看ffmpeg -version那个只能证明二进制在。真正要测的是它能不能跑通一条完整命令比如把一段测试视频转成另一种格式。我见过太多人-version正常一跑实际命令就报Invalid argument原因是编译时没带上某些编码器。2.3 ElevenLabs 与 Remotion 的分工边界ElevenLabs 负责声音Remotion 负责画面这条边界要划清楚否则会做重复功。ElevenLabs 的强项是文本转语音的自然度尤其是情感和停顿的处理比传统 TTS 强一大截。它的 API 返回的是音频文件你拿到之后交给 ffmpeg 做后续处理。Remotion 则是个很有意思的东西——它让你用 React 组件写视频。每一帧画面就是一个 React 组件的渲染结果时间轴就是帧序列。这意味着你可以用写网页的方式写视频用 CSS 做动画用变量控制内容用循环批量生成。对于数据驱动的视频比如每条视频文案不同但模板一样Remotion 的效率是剪辑软件没法比的。为什么不用纯 ffmpeg 拼画面因为 ffmpeg 做复杂动画和文字排版极其痛苦滤镜链写起来像天书。Remotion 把这块抽象成了前端开发者熟悉的模型学习成本低得多。两者结合Remotion 出画面ffmpeg 做最终的音视频合成与压制。工具核心职责替代方案选它的理由Claude Code流程编排、参数决策手写 shell 脚本能处理模糊决策适应变化ffmpeg音视频底层处理各类剪辑软件 CLI功能全、免费、可脚本化ElevenLabs文本转语音系统 TTS、其他云服务自然度高情感处理好Remotion代码化视频渲染After Effects 模板数据驱动可批量前端友好3. 环境搭建那些文档不会告诉你的安装细节3.1 Claude Code 的安装与项目初始化Claude Code 命令行版依赖 Node.js 环境所以第一步是确认 Node 版本。太老的版本会在安装时报错建议用当前 LTS 版本。安装命令是全局的装完之后在终端输入启动命令第一次会引导你做授权。授权完成后进入你的 video-use 项目目录执行初始化。这一步会在目录下生成配置你需要编辑它来声明权限。默认情况下 Claude Code 对文件读写和命令执行是保守的你得显式告诉它这个项目里允许调用 ffmpeg、node、npx 这些命令。配置写好后它就能在这个目录里自主干活了。一个容易忽略的点Claude Code 的工作目录就是它读写文件的根。所以你的项目结构要提前规划好比如input/放原始素材output/放成品scripts/放生成的中间脚本audio/放配音。结构清晰它生成的路径才不会乱。3.2 ffmpeg 跨平台安装的三种姿势与验证方法Windows 用户下载那个 essentials 压缩包后解压路径别带中文和空格否则某些命令会莫名失败。把bin加进 PATH 后必须重开终端才能生效这是新手最常犯的错——在旧终端里怎么试都提示找不到命令。Ubuntu 用户如果只是做常规处理apt装的版本够用。但如果你要用到较新的硬件加速或者特定滤镜就得考虑静态构建版或者自己编译。编译 ffmpeg 是个体力活需要先编译 x264 等依赖库网上那篇跨平台交叉编译的长文讲得很细但除非你要在 Android 或嵌入式设备上跑否则没必要折腾。macOS 用 Homebrew 一条命令搞定升级也方便。验证环节我建议做三步第一步ffmpeg -version确认二进制存在第二步跑一条转码命令确认编码器可用第三步跑一条带滤镜的命令比如缩放确认滤镜系统正常。三步都过才算真正装好。# 验证 ffmpeg 是否完整可用 ffmpeg -version ffmpeg -i test.mp4 -c:v libx264 -preset fast test_out.mp4 ffmpeg -i test.mp4 -vf scale1280:720 test_scaled.mp43.3 Remotion 项目脚手架与依赖安装Remotion 的初始化用它的 CLI 工具会生成一个标准的 React 项目结构。核心概念是composition——一个 composition 就是一条视频的模板里面定义了时长、分辨率、帧率以及每一帧渲染什么组件。安装依赖时注意Remotion 对 React 版本有要求别自己乱升级。初始化完成后先跑一次预览它会在浏览器里打开一个时间轴界面你能实时看到每一帧的效果。这个预览功能是 Remotion 最大的优势之一改代码即时看到画面变化比渲染完再看快得多。ElevenLabs 这边主要是拿 API Key然后在项目里通过它的 SDK 或者直接发 HTTP 请求调用。Key 千万别硬编码进代码提交到仓库用环境变量管理。4. 把四个工具串成一条流水线核心实现拆解4.1 用 Claude Code 编排整个流程的提示词设计这是整个 video-use 最核心也最容易被低估的部分。很多人以为给 Claude Code 一句帮我做个视频就行结果它要么理解偏了要么生成的命令参数不对。真正好用的做法是把流程拆成明确的阶段每个阶段给它清晰的输入输出约定。我的做法是在项目里放一个说明文件写清楚素材在哪、成品要什么规格、配音用什么声音、字幕什么风格。然后给 Claude Code 的指令按阶段来。第一阶段让它读文案、做断句、估算每句时长第二阶段让它根据时长生成 ffmpeg 的音频处理命令第三阶段让它写 Remotion 组件第四阶段让它跑渲染和合成。为什么要分阶段因为一次性让它干完中间出错你很难定位是哪一步的问题。分阶段之后每一步的产物都是可检查的中间文件出问题能快速回滚。提示词里要明确约束条件比如输出视频为 1080x1920 竖屏、30fps、时长不超过 60 秒。约束越具体它生成的参数越靠谱。我还会要求它在执行危险操作比如覆盖文件前先打印命令让我确认避免误删。4.2 文案到配音ElevenLabs 调用与音频后处理拿到文案后第一步是断句。中文断句不能只按标点还要考虑语义停顿。我一般让 Claude Code 按语义完整 单句不超过 20 字的原则切分因为过长的句子 TTS 读出来会显得平。调用 ElevenLabs 时声音 ID、稳定性、相似度这几个参数要调。稳定性太高声音会呆板太低又会飘。我的经验是旁白类内容稳定性调到中等偏上情感类内容调低一点。生成出来的音频是 mp3采样率可能和后续处理不一致需要用 ffmpeg 统一。音频后处理这一步很多人跳过结果成品听起来干巴巴。至少要做的三件事响度归一化让整条视频音量一致、去除首尾静音避免开头空白、和背景音乐混音人声压低背景。ffmpeg 的loudnorm滤镜做响度归一化很好用混音用amix。# 响度归一化 去除首尾静音 ffmpeg -i voice.mp3 -af silenceremovestart_periods1:start_threshold-50dB,loudnormI-16:TP-1.5:LRA11 voice_norm.mp3 # 人声与背景音乐混音背景音量压到 20% ffmpeg -i voice_norm.mp3 -i bgm.mp3 -filter_complex [1:a]volume0.2[bg];[0:a][bg]amixinputs2:durationfirst mixed.mp3注意loudnorm单遍处理是动态的效果够用如果要更精确用两遍模式第一遍分析第二遍应用但耗时翻倍。4.3 Remotion 组件设计让画面跟着音频走Remotion 里最关键的技巧是用音频时长驱动画面时长。你不能先定死视频长度再配音那样对不上。正确顺序是先出配音测出总时长再把这个时长传给 Remotion 的 composition。具体做法是用 ffprobeffmpeg 套件里的工具读出音频时长写进 Remotion 的配置。然后画面里的每个场景按时间比例分配。比如配音 45 秒分 5 个场景每个场景 9 秒但实际要按每句话的真实时长来分所以更精细的做法是拿到每句话的时间戳。Remotion 的动画用interpolate和spring两个函数就够了。interpolate做线性映射比如让透明度从 0 到 1spring做弹性动画适合元素入场。字幕的话把每句话的起止时间做成数组用Sequence组件按时间挂载。一个实战心得别在 Remotion 里做太重的视觉特效。它是用浏览器渲染的复杂滤镜会拖慢渲染速度。重特效交给 ffmpeg 后期处理Remotion 专注排版和简单动画。4.4 最终合成ffmpeg 把画面、配音、字幕焊在一起Remotion 渲染出来的是无声视频最后一步是用 ffmpeg 把画面、配音、字幕合成。字幕有两种做法烧进画面硬字幕或者作为独立轨道软字幕。短视频平台一般建议硬字幕因为软字幕在部分播放器里不显示。烧字幕用subtitles滤镜需要一个 srt 或 ass 文件。ass 格式能控制字体、颜色、位置比 srt 强。字幕文件可以让 Claude Code 根据配音时间戳自动生成。# 画面 配音 硬字幕合成 ffmpeg -i rendered.mp4 -i mixed.mp3 -vf subtitlessub.ass -c:v libx264 -crf 20 -c:a aac -shortest final.mp4-crf 20是画质和体积的平衡点数值越小画质越好体积越大。-shortest保证输出时长以最短的流为准避免出现黑屏尾巴。这一步跑完一条完整的视频就出来了。5. 实测中那些让人抓狂的坑与排查链路5.1 ffmpeg 报 Invalid argument 的完整排查过程这个报错我遇到过不下五次每次原因都不一样所以它特别值得单独讲。第一次遇到时我以为是命令写错了反复检查参数没发现问题。后来才意识到Invalid argument是个万能报错ffmpeg 把很多底层错误都归到这一类。我的排查链路是这样的第一步把命令简化到最小可复现。去掉所有滤镜和复杂参数只做最简单的转码如果还报错说明是输入文件或编码器的问题。第二步用 ffprobe 看输入文件的真实信息很多时候文件扩展名和实际编码格式不符比如一个.mp4实际是 HEVC 编码而你的 ffmpeg 没编 HEVC 解码器。第三步检查滤镜语法滤镜链里的逗号和冒号用错会直接报这个错尤其是路径里有特殊字符时。第四步看是不是权限或路径问题输出目录不存在或者没写权限也会报这个。我印象最深的一次是路径里有中文ffmpeg 在 Windows 下对非 ASCII 路径处理有问题改成英文路径立刻就好了。所以现在我所有项目路径一律用英文。5.2 音频与画面不同步时间基准的坑音画不同步是视频处理里的经典问题。在 video-use 这条链路里不同步通常来自三个地方ElevenLabs 生成的音频和 Remotion 渲染的视频帧率不一致ffmpeg 合成时用了错误的-vsync或-async参数或者中间某一步做了变速处理没同步。排查方法先单独播放配音确认音频本身没问题再单独播放无声视频确认画面节奏对然后合成后对比。如果合成后才不同步八成是时间基准问题。解决思路是统一所有素材的时间基准音频统一到 44100Hz 或 48000Hz视频统一帧率合成时明确指定。提示ffmpeg 的-async参数能自动拉伸音频对齐视频但会改变音调旁白类内容慎用。更好的做法是从源头保证时长一致。5.3 Remotion 渲染慢与内存溢出的应对Remotion 渲染是把每一帧当网页渲染帧数一多就慢内存也吃紧。一条 60 秒 30fps 的视频是 1800 帧如果每帧组件很重渲染能跑十几分钟。优化手段有几个降低不必要的分辨率预览时用低分辨率最终渲染再调高减少 DOM 节点数量复杂的 SVG 和大量元素会拖慢用--concurrency参数控制并行渲染的帧数机器内存小就调低避免溢出把静态背景预渲染成图片别每帧都重新画。我踩过最惨的一次是渲染到一半进程被杀原因是内存爆了。后来把并发调到 2问题解决。所以渲染前先看下机器内存别盲目开高并发。5.4 Claude Code 生成命令的幻觉与人工兜底Claude Code 再强也会犯错尤其是 ffmpeg 这种参数极多的工具它偶尔会编造出不存在的滤镜或者用错参数名。我的应对策略是关键命令先 dry-run。ffmpeg 没有真正的 dry-run但你可以把输出改成/dev/null或者一个临时文件先看它报不报错确认没问题再正式跑。另外让它生成命令时要求它解释每个参数的作用这样你能快速判断它是不是在瞎编。如果某个参数它解释得含糊大概率是编的。对于覆盖、删除这类危险操作一定要让它先打印命令等你确认别开全自动。6. 让这套流水线真正好用的几个进阶思路6.1 模板化一次搭好批量产出video-use 最大的价值不是做一条视频而是批量做。一旦模板搭好换文案、换配音、换素材就能快速出新片。做法是把所有可变内容抽成配置文案放一个文件声音 ID 放配置素材路径放清单。Claude Code 读配置循环跑流程。我现在的做法是维护一个episodes/目录每期视频一个子目录里面放文案和素材。跑一条命令它遍历所有子目录逐个生成。这样一周的内容可以一次性排产。6.2 把中间产物管好方便返工流水线跑起来后中间文件会很多原始音频、归一化音频、混音、渲染视频、字幕文件。一定要有清晰的命名和目录结构否则出了问题根本找不到是哪一步的产物。我的命名约定是加阶段后缀比如voice_raw.mp3、voice_norm.mp3、voice_mixed.mp3。这样一看名字就知道处理到哪一步了。返工时只需要从出问题的那一步重跑不用整条链路重来省大量时间。6.3 质量检查环节不能省自动化最怕的是跑完了但结果是错的。所以在最终输出前加一道检查用 ffprobe 读成品的时长、分辨率、码率、音轨信息和预期对比。如果时长差太多说明某一步出了问题。我还会抽帧看几个关键时间点的画面确认字幕位置和内容正确。这道检查可以写成脚本让 Claude Code 在合成后自动跑不通过就报警。别嫌麻烦一条发出去才发现字幕错位的视频返工成本比这道检查高得多。6.4 关于成本与效率的现实考量ElevenLabs 是按字符计费的文案长了成本不低。所以生成配音前先把文案精简去掉冗余表达。ffmpeg 和 Remotion 都是本地跑不花钱但吃机器性能。Claude Code 按用量计费所以别让它做无意义的重复推理能写死的逻辑就写死把它的算力用在真正需要判断的地方。效率上整条链路跑一条 60 秒视频从文案到成品熟练之后大概十几分钟其中大部分时间在等渲染和合成。如果机器性能好能压到几分钟。相比手动剪辑批量场景下效率提升是数量级的。我在实际使用中最大的体会是这套东西的门槛不在工具本身而在流程设计。工具都是现成的难的是想清楚每一步的输入输出、边界条件、出错怎么兜底。把流程理顺了剩下的就是让 Claude Code 去执行。踩过几次坑之后你会发现最花时间的往往不是写代码而是调试那些看起来应该对但就是不对的参数。所以我的建议是每引入一个新工具先花时间把它单独跑通、摸清脾气再往流水线里塞别一上来就全串起来那样出了问题你根本不知道是谁的锅。
