1. 从video-use这个标题说起它到底想解决什么问题第一次看到video-use这个标题我脑子里冒出来的第一个念头是这大概率不是一个单纯的播放器也不是一个简单的视频剪辑脚本而是一套围绕视频使用这件事搭建起来的工作流。为什么这么判断因为如果只是播放标题会叫 player如果只是剪辑标题会叫 editor 或者 cut。而use这个词很微妙它强调的是用起来——从素材到成片、从文字到语音、从命令行到自动化整条链路都算在内。结合热搜词里出现的 Claude Code、ffmpeg、ElevenLabs、Remotion 这几个关键词我基本能还原出这个项目的轮廓用 Claude Code 作为智能调度和代码生成的中枢用 ffmpeg 做底层的音视频处理用 ElevenLabs 做语音合成用 Remotion 做程序化视频渲染。这四者组合在一起本质上是在做一件事——把做视频这件事从手工操作变成可编程、可复用、可自动化的流程。我之所以对这个方向特别有感触是因为过去几年我断断续续做过不少视频相关的自动化项目。早期用纯 ffmpeg 命令行拼拼接接后来发现一旦涉及字幕、配音、动态图形纯命令行就会变得极其难维护。再后来接触到程序化视频渲染的思路才意识到真正高效的做法不是手动剪而是用代码描述视频然后让机器去渲染。video-use 这个标题恰好踩在这个思路上。这篇文章我打算按我自己的理解把这条链路完整拆一遍从环境准备、ffmpeg 的核心用法、Claude Code 怎么介入、语音合成怎么接、Remotion 怎么把代码变成画面最后讲讲实际跑起来会踩哪些坑。适合谁看如果你已经会一点命令行、想做视频自动化但不知道从哪下手或者你已经在用 Claude Code 但还没想清楚它能怎么用在视频场景那这篇应该对你有用。如果你完全是零基础也没关系我会把每个概念都用生活化的方式讲清楚。提示本文提到的所有工具和命令都是基于公开的通用实践整理的具体版本和参数请以你本机实际环境为准。不同操作系统下的路径、依赖安装方式差异较大遇到问题优先查官方文档。2. 环境准备ffmpeg 和 Claude Code 的安装与验证2.1 ffmpeg 到底是个什么东西为什么视频自动化绕不开它很多人第一次接触 ffmpeg 会被它的命令行吓到觉得参数又多又怪。但如果你把它理解成视频界的瑞士军刀就好懂多了。它本身是一个命令行工具能读几乎任何格式的音视频文件能转码、裁剪、拼接、加字幕、调音量、抽帧、推流几乎你能想到的对视频的操作它都能做。更关键的是它可以被脚本调用这就意味着你可以把一系列操作写成一条命令或者一个脚本批量处理成百上千个文件。我个人的经验是任何视频自动化项目ffmpeg 都是地基。不管上层用多高级的框架最后落到把这一帧画面解码出来把这段音频混进去这种操作基本都还是 ffmpeg 在干活。所以环境准备的第一步一定是把 ffmpeg 装好、验证好。安装方式按系统分Windows去 ffmpeg 官网下载编译好的压缩包常见的是 essentials 版本解压到某个目录比如C:\ffmpeg然后把C:\ffmpeg\bin加到系统环境变量 PATH 里。加完之后重开一个命令行窗口输入ffmpeg -version能打印出版本信息就说明成功了。macOS用 Homebrew 最省事brew install ffmpeg一条命令搞定。Ubuntu / Debiansudo apt update sudo apt install ffmpeg同样简单。装完之后一定要验证别跳过这一步。我见过太多人装完以为好了结果跑脚本时报ffmpeg 不是内部或外部命令折腾半天发现是 PATH 没生效。验证命令就一条ffmpeg -version如果输出里能看到版本号、编译配置这些信息就说明没问题。顺便也验证一下 ffprobe它是 ffmpeg 套件里用来查看媒体信息的工具后面排查问题经常要用ffprobe -version2.2 Claude Code 的定位它不是编辑器是会写代码的搭档Claude Code 这类工具很多人一开始会误解以为它就是个自动补全。其实它的定位更接近一个能理解你意图、能读写文件、能执行命令的编程搭档。你可以用自然语言告诉它帮我把这个目录下所有 mp4 转成 720p它会去生成对应的 ffmpeg 命令甚至直接帮你执行。安装 Claude Code 的常见方式是通过 npm 全局安装前提是你本机有 Node.js 环境。装好 Node 之后npm install -g anthropic-ai/claude-code装完在终端输入claude就能进入交互界面。如果你用的是 VS Code也可以装对应的扩展在编辑器里直接调用。这里要提醒一句这类工具对网络环境有一定要求具体能不能用、怎么配置请以官方说明为准我这里只讲通用的安装和验证思路。验证是否装好输入claude --version能打印版本号就说明命令已经可用。第一次运行会引导你做一些初始化配置按提示走就行。2.3 把两者串起来让 Claude Code 帮你写 ffmpeg 命令环境都装好之后最有价值的用法不是分别用它们而是让 Claude Code 帮你写 ffmpeg 命令。举个我实际用过的例子我有一批手机拍的视频竖屏、码率高、体积大我想统一转成横屏 1080p、码率压到合理范围。如果我自己查参数可能要翻半天文档。但直接跟 Claude Code 说清楚需求它会给我一条类似这样的命令ffmpeg -i input.mp4 -vf scale1920:1080:force_original_aspect_ratiodecrease,pad1920:1080:(ow-iw)/2:(oh-ih)/2 -c:v libx264 -crf 23 -preset medium -c:a aac -b:a 128k output.mp4这条命令里每个参数都有讲究scale负责缩放force_original_aspect_ratiodecrease保证不变形pad负责补黑边把画面填满crf 23是画质和体积的平衡点preset medium是编码速度和压缩率的折中。这些细节Claude Code 会帮你解释你理解之后就能自己改。注意让 AI 生成命令之后一定要先在小文件上试跑确认输出符合预期再批量执行。我踩过的坑就是直接对几百个文件跑了一条没验证的命令结果参数写错全部输出成了低画质版本只能重来。3. ffmpeg 在 video-use 场景里的核心操作拆解3.1 转码与压缩为什么不能无脑用默认参数转码是 ffmpeg 最基础也最常用的功能。但很多人转码就是ffmpeg -i in.mp4 out.mp4这样出来的文件可能比原来还大画质还未必好。原因在于 ffmpeg 默认会重新编码而编码器的默认参数不一定适合你的场景。真正要控制的是三件事编码器、码率或质量、分辨率。编码器方面H.264libx264兼容性最好H.265libx265压缩率更高但兼容性稍差AV1 压缩率最高但目前编码速度慢。质量方面推荐用 CRF 模式而不是固定码率CRF 值越小画质越好、体积越大一般 18 到 28 之间是常用区间23 是个不错的起点。我整理了一个常用参数对照表方便你按场景选场景编码器CRFpreset说明网络分享libx26423medium兼容性和体积平衡存档保留libx26418slow画质优先体积大移动端预览libx26428fast体积优先画质可接受高压缩存档libx26524medium体积小部分设备不支持这里有个经验preset 越慢压缩率越高但编码时间成倍增长。我实测过同一个 10 分钟视频medium 大概 2 分钟编完slow 要 5 分钟veryslow 要 12 分钟但体积只小了不到 10%。所以除非你对体积极度敏感medium 基本够用。3.2 裁剪、拼接与抽帧批量处理的三个高频动作裁剪分两种时间裁剪和画面裁剪。时间裁剪用-ss和-t比如从第 30 秒开始截 10 秒ffmpeg -ss 00:00:30 -i input.mp4 -t 10 -c copy output.mp4注意这里用了-c copy意思是直接复制流不重新编码速度极快但前提是切割点要落在关键帧上否则开头可能花屏。如果要精确切割就得去掉-c copy重新编码。画面裁剪用crop滤镜比如裁掉上下黑边ffmpeg -i input.mp4 -vf cropiw:ih-200:0:100 output.mp4拼接稍微麻烦一点因为不同视频的编码参数可能不一致。稳妥的做法是先用统一的参数把所有片段转成中间格式再用 concat 拼接。我一般会写一个脚本先把每个片段转成相同分辨率、相同编码的 ts 文件再合并ffmpeg -i concat:part1.ts|part2.ts|part3.ts -c copy output.mp4抽帧就是提取视频里的某一帧或每隔几帧提取一张做封面或者做缩略图很有用ffmpeg -i input.mp4 -vf fps1 frames/frame_%04d.jpg这条命令每秒抽一帧输出到 frames 目录文件名自动编号。做视频预览图、时间轴缩略图都靠它。3.3 音频处理响度调整和音轨替换视频里的音频问题特别常见尤其是多个片段拼接后音量忽大忽小。ffmpeg 提供了响度归一化的滤镜可以把整体响度调整到标准范围ffmpeg -i input.mp4 -af loudnormI-16:TP-1.5:LRA11 -c:v copy output.mp4这里的I-16是目标响度单位 LUFSTP-1.5是最大真峰值LRA11是响度范围。这套参数是网络视频常用的标准能保证不同视频之间音量一致。我第一次用的时候没加-c:v copy结果视频被重新编码了一遍白白浪费了时间后来才知道音频处理时视频流可以直接复制。替换音轨也很常用比如给视频换上新的背景音乐ffmpeg -i video.mp4 -i music.mp3 -map 0:v -map 1:a -c:v copy -shortest output.mp4-map 0:v表示取第一个文件的视频流-map 1:a表示取第二个文件的音频流-shortest保证输出长度以较短的为准。3.4 字幕与格式转换m3u8 转 mp4 这类需求怎么处理字幕处理分软字幕和硬字幕。软字幕是作为独立轨道封装进去播放器可以开关硬字幕是直接烧进画面任何播放器都能看到。软字幕ffmpeg -i input.mp4 -i subtitle.srt -c copy -c:s mov_text output.mp4硬字幕ffmpeg -i input.mp4 -vf subtitlessubtitle.srt output.mp4格式转换里m3u8 转 mp4 是个高频需求。m3u8 本质是一个索引文件指向一堆 ts 分片。转换命令ffmpeg -i input.m3u8 -c copy output.mp4如果分片是加密的还需要提供密钥这个就复杂一些得看具体的加密方式。我遇到过的坑是有些 m3u8 的 ts 分片顺序在索引里是乱的直接转会导致画面顺序错乱这时候需要先检查索引文件的内容。4. Claude Code 如何真正介入视频工作流4.1 从写命令到写脚本让 AI 处理重复劳动Claude Code 在视频场景里最大的价值不是帮你写一条命令而是帮你把重复劳动脚本化。比如我有一批视频需要统一加水印、统一转码、统一抽封面如果每次都手敲命令效率极低。这时候我会直接跟 Claude Code 描述需求让它生成一个完整的 shell 脚本或者 Python 脚本。举个例子我让它写一个遍历目录下所有 mp4转成 720p加水印抽第一帧做封面的脚本它会给我类似这样的 Pythonimport os import subprocess input_dir ./videos output_dir ./output os.makedirs(output_dir, exist_okTrue) for filename in os.listdir(input_dir): if not filename.endswith(.mp4): continue input_path os.path.join(input_dir, filename) output_path os.path.join(output_dir, filename) # 转码加水印 subprocess.run([ ffmpeg, -i, input_path, -vf, scale1280:720,drawtexttextMyBrand:x10:y10:fontsize24:fontcolorwhite, -c:v, libx264, -crf, 23, -preset, medium, -c:a, aac, -b:a, 128k, output_path ]) # 抽封面 cover_path os.path.join(output_dir, filename.replace(.mp4, .jpg)) subprocess.run([ ffmpeg, -i, output_path, -vf, fps1, -frames:v, 1, cover_path ])这个脚本我稍微改改就能用。关键是 Claude Code 会帮你处理那些容易忘的细节比如目录不存在要先创建、文件名后缀要判断、参数顺序要对。这些细节自己写容易漏让 AI 生成再检查效率高很多。4.2 用自然语言描述需求提示词怎么写才有效跟 Claude Code 协作提示词的质量直接决定输出质量。我总结了几条经验第一说清楚输入和输出。不要只说帮我处理视频要说输入是 ./raw 目录下的 mp4输出到 ./done 目录分辨率 1080p码率控制在 5Mbps 以内。第二说清楚约束条件。比如不要重新编码音频保持原始帧率文件名保持不变。第三说清楚异常处理。比如如果某个文件处理失败跳过并记录到 error.log不要中断整个流程。第四要求解释。让 AI 在给命令的同时解释每个参数的作用这样你能学到东西下次自己就能改。我常用的一个提示词模板是这样的我有一个目录 ./input里面是各种格式的视频。请帮我写一个 Python 脚本把它们统一转成 mp4H.264 AAC分辨率不超过 1920x1080保持原始宽高比音频响度归一化到 -16 LUFS。处理失败的文件记录到 failed.txt。请解释关键参数的含义。这样描述出来的需求AI 生成的脚本基本能直接用。4.3 调试环节AI 帮你读报错信息ffmpeg 的报错信息有时候很晦涩尤其是涉及编码器、滤镜链的时候。这时候把报错贴给 Claude Code让它帮你分析往往比你自己查文档快。比如常见的Invalid argument可能是参数顺序错了也可能是滤镜语法写错了。AI 会帮你逐段排查。我印象很深的一次我写了个复杂的滤镜链报错说某个滤镜找不到。我自己查了半天没头绪贴给 AI 之后它指出我用的滤镜在当前 ffmpeg 版本里名字不一样换一个就解决了。这种版本差异导致的问题靠记忆很容易出错让 AI 帮忙对照反而更靠谱。提示AI 给的方案不一定百分百正确尤其是涉及具体版本行为的时候。我的习惯是AI 给的命令先-h查一下对应滤镜或参数的帮助确认存在再跑。5. 语音合成与程序化渲染ElevenLabs 和 Remotion 的角色5.1 ElevenLabs 这类语音合成工具在视频里的用法视频自动化里配音是个绕不开的环节。传统做法是找人录成本高、周期长。语音合成工具的出现让文字转配音变得极其简单。ElevenLabs 这类工具的核心能力是输入一段文字输出一段自然度很高的语音音频。在 video-use 的链路里它通常出现在这个位置你有一份文案先用语音合成生成配音音频再用 ffmpeg 把配音和画面合成最后用 Remotion 或者 ffmpeg 加上字幕。整个流程可以完全自动化。具体操作上一般是通过 API 调用。你准备好文案调用接口拿到音频文件然后ffmpeg -i video.mp4 -i voice.mp3 -map 0:v -map 1:a -c:v copy -shortest output.mp4这条命令把配音替换成视频的音轨。如果原视频有背景音乐想保留就需要混音ffmpeg -i video.mp4 -i voice.mp3 -i bgm.mp3 -filter_complex [1:a][2:a]amixinputs2:durationfirst[aout] -map 0:v -map [aout] -c:v copy output.mp4这里amix滤镜把配音和背景音乐混在一起durationfirst表示以第一个输入的长度为准。我踩过的坑是语音合成的音频采样率和视频不一致直接合并会有杂音或者不同步。稳妥的做法是先用 ffmpeg 把音频统一成 44100Hz 或 48000Hzffmpeg -i voice.mp3 -ar 48000 -ac 2 voice_fixed.mp35.2 Remotion 的思路用代码描述画面而不是手动拖时间轴Remotion 是一个很有意思的工具它的核心思路是用 React 组件来描述视频画面然后渲染成视频文件。这跟传统剪辑软件完全不同。传统剪辑是你手动拖时间轴、摆素材Remotion 是你写代码告诉它第 0 到 3 秒显示标题第 3 到 6 秒显示图表然后它自动渲染。为什么这个思路在自动化场景里特别有价值因为一旦画面是代码描述的它就可以被参数化、被复用、被批量生成。比如你要做 100 个结构相同但数据不同的视频用传统剪辑要重复 100 次用 Remotion 只要改数据源跑 100 次渲染就行。一个最简单的 Remotion 组件大概长这样import { AbsoluteFill, useCurrentFrame, interpolate } from remotion; export const MyVideo () { const frame useCurrentFrame(); const opacity interpolate(frame, [0, 30], [0, 1]); return ( AbsoluteFill style{{ backgroundColor: black, justifyContent: center, alignItems: center }} h1 style{{ color: white, opacity }}Hello Video/h1 /AbsoluteFill ); };这段代码的意思是画面背景黑色中间显示一行白字前 30 帧内透明度从 0 渐变到 1。useCurrentFrame拿到当前帧号interpolate做插值。理解了这个模式你就能用代码控制任何动画。5.3 把 ffmpeg 和 Remotion 串起来谁负责什么这两个工具的分工其实很清晰。Remotion 擅长的是从零生成画面——动态图形、数据可视化、模板化视频。ffmpeg 擅长的是处理已有素材——转码、裁剪、拼接、混音。实际项目里两者经常配合使用。一个典型流程是用 Remotion 渲染出片头片尾和动态图形用 ffmpeg 处理实拍素材最后用 ffmpeg 把所有片段拼在一起。或者反过来用 ffmpeg 先把素材处理好再用 Remotion 加上动态字幕和图形。我个人的经验是不要试图用一个工具解决所有问题。Remotion 处理视频拼接和音频混合不如 ffmpeg 灵活ffmpeg 做复杂动画又极其痛苦。让它们各司其职用脚本串起来才是最高效的做法。6. 实际跑起来会踩的坑我遇到过的几个典型问题6.1 路径和编码问题中文文件名和空格这是最容易被忽视但最烦人的问题。ffmpeg 对中文路径和带空格的文件名支持不好经常报错。我的做法是处理前先把文件名规范化去掉空格和特殊字符或者用引号把路径包起来。在 shell 脚本里变量一定要加引号ffmpeg -i $input_path $output_path不加引号的话路径里有空格就会被拆成多个参数直接报错。这个坑我踩过不止一次后来养成习惯所有路径变量都加引号。6.2 编码器不支持的格式为什么有些参数会报错ffmpeg 的编码器支持情况取决于编译时的配置。你下载的预编译版本可能不包含某些编码器。比如你想用 libx265结果报Unknown encoder那就是这个版本没编进去。解决办法是换一个包含该编码器的版本或者自己编译。查看当前 ffmpeg 支持哪些编码器ffmpeg -encoders这个列表很长可以配合 grep 过滤ffmpeg -encoders | grep 265同理滤镜也可以用ffmpeg -filters查看。6.3 处理速度慢怎么判断瓶颈在哪批量处理视频时速度慢是常态。但要判断瓶颈在解码、编码还是磁盘 IO可以看 ffmpeg 的输出信息。它会实时打印帧率、速度倍数。如果 speed 显示 0.5x说明处理一个 10 分钟视频要 20 分钟。提速的思路有几个换更快的 preset、用硬件加速如果支持、降低分辨率、并行处理多个文件。硬件加速这块不同平台支持不同NVIDIA 显卡可以用 NVENCIntel 核显可以用 QSV但需要 ffmpeg 编译时支持。我一般先用软件编码跑通流程确认没问题再考虑硬件加速。6.4 音频视频不同步常见原因和修复不同步的原因通常有三个源文件本身不同步、拼接时时间基不一致、音频处理时采样率变了。排查方法是先用 ffprobe 看两个流的时长ffprobe -v error -show_entries streamindex,codec_type,duration -of csv input.mp4如果时长差得不多几十毫秒可能是编码延迟可以用-async或者-itsoffset微调。如果差得多那可能是源文件问题需要重新处理。我遇到过一次拼接了十几个片段后音画不同步最后发现是其中一个片段的帧率跟其他不一样。解决办法是拼接前统一帧率ffmpeg -i input.mp4 -r 30 -c:v libx264 -crf 23 output.mp47. 把这套流程固化成可复用的模板7.1 目录结构设计让脚本有章可循跑通一次流程不难难的是每次都跑通。我的做法是固定一套目录结构project/ raw/ 原始素材 audio/ 音频文件 temp/ 中间产物 output/ 最终输出 scripts/ 处理脚本 logs/ 日志这样脚本里路径都是固定的不用每次改。中间产物放 temp方便出错时排查也方便清理。7.2 参数外置把易变的配置抽出来分辨率、码率、水印文字这些参数不要写死在脚本里抽到一个配置文件里。我用 Python 的话会用一个 config.py 或者 config.json{ resolution: 1920x1080, crf: 23, preset: medium, watermark: MyBrand, loudness: -16 }脚本读配置改参数不用动代码。这个习惯在批量处理场景里特别重要因为不同项目参数不一样外置之后一套脚本能复用到多个项目。7.3 日志与失败重试批量处理必须有的保障批量处理最怕的就是跑到一半失败还不知道失败在哪。我的做法是每个文件处理时记录开始和结束时间、命令、返回码失败的文件单独记录最后统一重试。import logging logging.basicConfig(filenamelogs/process.log, levellogging.INFO) def process_file(path): try: result subprocess.run([...], capture_outputTrue, textTrue) if result.returncode ! 0: logging.error(fFailed: {path}, stderr: {result.stderr}) return False logging.info(fSuccess: {path}) return True except Exception as e: logging.error(fException: {path}, {e}) return False有了日志出问题能快速定位。失败重试也很简单把失败列表读出来再跑一遍就行。7.4 从单机脚本到工作流什么时候该上更重的方案如果只是偶尔处理几个视频脚本足够了。但如果要处理成百上千个或者要定时跑、要多人协作就该考虑更重的工作流方案了。比如用任务队列管理处理任务用容器保证环境一致用对象存储管理素材。不过我的建议是不要过早优化。先用最简单的脚本跑通遇到瓶颈再升级。我见过太多人一上来就搭复杂架构结果核心流程还没跑通时间全花在配置上了。video-use 这类项目的核心价值在于用起来而不是架构多漂亮。8. 一些零散但有用的实操心得最后分享几个我在实际项目里攒下来的小技巧都是文档里不太会写、但用起来很省事的。第一个善用-c copy。只要不涉及重新编码能 copy 就 copy速度差几十倍。转封装、切割、换音轨这些操作很多时候都能 copy。第二个先抽一小段测试。处理长视频前先用-ss和-t截取 10 秒试跑确认参数没问题再跑全片。这个习惯帮我省了无数次重跑的时间。第三个ffprobe 是你的好朋友。遇到任何这个文件到底是什么格式为什么处理不了的问题先 ffprobe 看一眼信息一目了然。第四个滤镜链用逗号分隔顺序很重要。比如先 scale 再 pad 和先 pad 再 scale结果完全不同。写滤镜链的时候脑子里要清楚每一步在做什么。第五个让 Claude Code 帮你写注释。脚本写完之后让它给每段加注释过几个月回头看还能看懂。这个习惯对长期维护特别有价值。这套 video-use 的流程我从最开始的手敲命令到后来写脚本再到现在用 AI 辅助生成和调试效率提升是肉眼可见的。核心思路其实就一句话把重复的、可描述的操作交给代码和工具人只负责判断和决策。ffmpeg 负责底层处理Claude Code 负责把意图翻译成代码语音合成负责配音Remotion 负责动态画面各司其职串起来就是一条完整的自动化流水线。
