VoiceCraft 上手指南10 秒音频如何编辑已有语音零样本 TTS 实操与避坑清单【免费下载链接】VoiceCraftZero-Shot Speech Editing and Text-to-Speech in the Wild项目地址: https://gitcode.com/GitHub_Trending/vo/VoiceCraft有声书录完了结果讲述人在一句话里读错了一个词——按传统后期流程得把整章重新录一遍。VoiceCraft 只需要把错句区间蒙上、输入正确文本模型就会用同一个音色把这段补出来。这个做零样本语音编辑和文本转语音TTS的工具还能直接处理播客、网络视频这类带环境声的真实录音。 项目速览是什么一个基于令牌填充token infilling神经编解码语言模型的语音编辑 零样本 TTS 开源项目配了 Gradio 网页界面和命令行脚本。核心能力几秒参考音频就能克隆或编辑一个没见过的声音对任意文本做零样本 TTSGradio 里还有 Long TTS 模式可整篇长文分段合成。训练数据是在野录音有声书、网络视频、播客所以真实带噪音频也能处理而不是只对录音棚干声友好。适合谁声音后期/有声书制作、想免费克隆音色的应用开发者、想训练或微调语音模型的研究者。硬件完整本地跑需要 NVIDIA GPU先在线上体验则无门槛。 最快上手路径先跑通 Colab官方 README 把 Colab 列为最简单方式在 Google Colab 里运行项目提供的推理 notebook语音编辑和 TTS 各有一个说明写在 README 的 QuickStart 部分按 cell 提示选模型、传参考音频、填目标文本跑完直接听结果全程不用装环境。确认效果后再考虑本地部署。克隆仓库git clone https://gitcode.com/GitHub_Trending/vo/VoiceCraft cd VoiceCraft conda create -n voicecraft python3.9.16 conda activate voicecraft # 依赖按 environment.yml 安装后启动本地网页界面 pip install -r gradio_requirements.txt python gradio_app.py浏览器打开 127.0.0.1:7860 就是 Gradio 界面选模型 → 加载 → 转写 → 跑 TTS / 编辑 / Long TTS。嫌手动装依赖麻烦就用 Dockerdocker build --tag voicecraft .后执行start-jupyter.shLinux或start-jupyter.batWindows细节在 README。 它到底怎么做到的把语音当填空题两个类比就能说清原理。第一语音先变成数字序列。项目用 Encodec 神经音频编解码器把音频压成一串离散码项目自训版本是 56M 参数、4 个码本 × 2048 码文本则由 phonemizer 转成音素序列。模型全程不碰波形只在序列上工作——和语言模型处理文字是一个思路。第二编辑就是填空题。语音编辑时把目标区间蒙掉模型拿到前面的原音频 后面的原音频 这段要说的话只补出被蒙住区间的缺失码上下文保证了新内容和前后的音色、节奏自然衔接。TTS 则是填空题的特例只有几秒参考音频加目标文本整个区间都是空白全靠参考音色续写。生成完再由编解码器解码回波形。关键目录就这几个data/ 负责音素化和音频编码models/ 是主模型与码本延迟模式主定义在 models/voicecraft.pysteps/ 管训练与优化器示例入口是 inference_tts.ipynb、inference_speech_editing.ipynb 和可独立集成的 tts_demo.py。⚠️ 能力边界与真实表现只支持英文文本侧用的是 english_us_arpa 音素体系中文开箱即用不了。长度有上限训练时长超 16 秒的语句被丢弃了官方建议参考 生成长度 ≤ 16 秒长文本要靠 Gradio 的 Long TTS 分段绕开。绑定特定 Encodec 权重静默码等推理细节是针对项目提供的编解码器 checkpoint 调的换自己的 codec 必须重新配置。速度不算快README 的 TODO 里提升效率仍未勾掉推理可用 kvcache 换取 4~8 倍加速。授权注意代码为 CC BY-NC-SA 4.0限非商业模型权重另有 Coqui 模型许可证LICENSE-CODE、LICENSE-MODEL。 进阶玩法想深入可以做的三件事调采样参数生成用 top_k / top_p / temperature 控制。项目更新日志明确写了把 top_p1 换成 top_k40 后编辑和 TTS 质量大幅变好这是官方验证过的组合出循环复读声时再配合stop_repetition默认连续重复 2 次即停。长文本分段合成用 Gradio 的 Long TTS 模式整篇合成某段不满意可以只重跑那一段不用从头再来。用私有数据微调流程是备音频转写 → data/phonemize_encodec_encode_hf.py 提取音素和编码 → 组装 manifest → 跑 z_scripts/ 里的脚本如e830M.sh。微调建议用 AdamW若新数据引入原词表没有的音素记得扩text_vocab_size并处理 text_embedding 权重的形状。 常见问题排查torch / xformers / CUDA 版本打架别猜版本直接对 environment.yml 装或干脆留在 Colab / Docker 里跑。提取编码阶段爆显存训练数据准备时按 README 建议调小--batch_size和--max_len。生成的语音卡顿或复读先确认采样参数用的是 top_k40 这套组合再查stop_repetition参考音频尽量清晰无噪。本地 Gradio 起不来espeak、festival 及 libasound2 等系统音频库要先装好再装gradio_requirements.txt这一步最常被跳过。如果你要改的是已有录音里的个别错误、或想不录一条音频就克隆音色从 Colab 开始听效果满意了再迁到本地 GPU用自己的数据微调成真正能日常用的工具。【免费下载链接】VoiceCraftZero-Shot Speech Editing and Text-to-Speech in the Wild项目地址: https://gitcode.com/GitHub_Trending/vo/VoiceCraft创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
