人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载Aidatatang_200zh 是 PaddleSpeech 仓库中内置支持的中文普通话语音语料库之一本文以其官方说明文档paddlespeech/dataset/aidatatang_200zh/README.md为骨架结合仓库内的一键数据准备脚本与声纹、ASR 下游代码完整讲解该数据集的规模与标注特征、许可协议、目录结构、下载校验流程、Manifest 生成机制以及如何将其接入语音识别与说话人验证声纹识别等训练任务。读者读完本文后可以独立完成从原始压缩包到可训练 JSON Manifest 的全流程准备并理解其内部实现原理。一、数据集概览200 小时移动端中文普通话语音Aidatatang_200zh 是由北京数据堂科技有限公司Beijing DataTang Technology Co., Ltd提供的免费中文普通话语音语料库。根据仓库内 README 的描述该语料库具有以下关键特征数据规模包含 200 小时的声学数据其中大部分为移动设备手机录制数据贴近真实移动端语音场景说话人覆盖邀请了来自中国不同方言区的 600 位说话人参与录制保证了发音口音的地域多样性转写质量每个句子的转写准确率大于 98%标注质量有明确保障录制环境在安静的室内环境中完成录制声学噪声受控数据划分数据库按 7 : 1 : 2 的比例划分为训练集train、验证集dev与测试集test元数据丰富语音数据编码方式、说话人信息等细节均保存在元数据文件中分段转写随语料同时提供分段segmented转写文本。该语料库旨在支持语音识别speech recognition、机器翻译machine translation、声纹识别voiceprint recognition等语音相关领域的研究且对学术用途完全免费。二、许可协议与使用边界Aidatatang_200zh 采用Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License知识共享署名-非商业性使用-禁止演绎 4.0 国际公共许可协议即 CC BY-NC-ND 4.0。该许可的核心限制可概括为三点必须署名Attribution、仅限非商业用途NonCommercial、禁止演绎NoDerivatives即不允许修改或再分发衍生作品。因此在使用本数据集进行训练与发布时应严格遵守上述条款学术研究使用免费但商业场景与二次加工需另行评估合规性。这一点与仓库中其他部分数据集如 VoxCeleb的许可要求存在差异接入训练前务必确认最终模型与产品的使用目的。三、目录结构与元数据格式从准备脚本 aidatatang_200zh.py 的解析逻辑可以还原出数据集解压后的典型目录结构aidatatang_200zh/ ├── transcript/ │ └── aidatatang_200_zh_transcript.txt # 全量分段转写文本 └── corpus/ ├── train/ # 训练集70% ├── dev/ # 验证集10% └── test/ # 测试集20%转写文件aidatatang_200_zh_transcript.txt的每一行为audio_id 空格 文本。脚本按行读取后以line.split( , 1)切分出音频 ID 与转写文本并调用.join(text.split())去除文本中所有空白字符后再写入 Manifest确保后续建模时文本纯净。音频组织corpus/下按train / dev / test分目录每个子目录下以说话人speakerID 为目录名存放该说话人的.wav文件。脚本通过Path(audio_path).parent.name直接取父目录名作为utt2spk说话人 ID这正是声纹与多说话人任务依赖的组织方式。四、一键数据准备下载、校验、解压与 Manifest 生成仓库在paddlespeech/dataset/aidatatang_200zh/提供了完整的准备入口。命令行入口文件为 dataset/aidatatang_200zh/aidatatang_200zh.py其通过from paddlespeech.dataset.aidatatang_200zh import aidatatang_200zh_main复用主模块的main()函数因此以下两种方式等价# 方式一直接运行子模块 python -m paddlespeech.dataset.aidatatang_200zh.aidatatang_200zh # 方式二运行入口脚本 python paddlespeech/dataset/aidatatang_200zh/aidatatang_200zh.py脚本支持两个命令行参数定义于 aidatatang_200zh.py参数默认值说明--target_dir~/.cache/paddle/dataset/speech/aidatatang_200zh数据集保存目录支持~展开脚本内通过os.path.expanduser处理--manifest_prefixmanifest输出 Manifest 文件路径前缀实际生成manifest.train、manifest.dev、manifest.test三个文件整个流程由prepare_dataset()函数aidatatang_200zh.py驱动共分为四步下载从 OpenSLR 官方镜像http://www.openslr.org/resources/62/aidatatang_200zh.tgz下载压缩包源码中URL_ROOT http://www.openslr.org/resources/62同时保留了备用镜像https://openslr.magicdatatech.com/resources/62的注释MD5 校验源码中硬编码了压缩包校验值MD5_DATA 6e0f4f39cd5f667a7ee53c397c8d0949。下载完成后由 download.py 中的md5file()逐块计算 MD5 并比对不一致则抛出RuntimeError(MD5 checksum failed.)防止下载损坏解压使用unpack()基于tarfile解压顶层压缩包随后递归扫描corpus/下各说话人目录中的音频 tar 包并逐个解压unpack(filepath, folder, True)rm_tarTrue表示解压后删除原始 tar 以节省空间生成 Manifest调用create_manifest()遍历corpus/{train,dev,test}下的所有.wav生成训练可直接读取的 JSON 行式清单。若目标目录已存在脚本会打印Skip downloading and unpacking. Data already exists in %s.并直接进入 Manifest 生成阶段支持断点续跑。下载本身由 download.py 中的download()调用wget -c实现-c支持断点续传。五、Manifest 格式与元统计文件create_manifest()aidatatang_200zh.py对每个音频文件生成一行 JSON每个字段的含义如下字段内容说明utt音频 ID取自 wav 文件名去扩展名与转写文件中的audio_id对应utt2spk说话人 ID取自音频所在父目录名feat音频绝对路径指向实际.wav文件供特征提取与数据加载使用feat_shape(duration,)通过soundfile.read()读取后按len(audio_data) / samplerate计算的时长秒用于动态批处理与时长过滤text转写文本来自转写文件的对应文本已去除空白示例 Manifest 行{utt: T0055G0015S0001, utt2spk: T0055, feat: /home/.../corpus/train/T0055/T0055G0015S0001.wav, feat_shape: [9.633, ], text: 今天天气不错}同时脚本还会为每个子集生成一个.meta统计文件写入 Manifest 同级目录命名为train.meta、dev.meta、test.meta包含以下统计指标N utts样本话语总数N h总时长小时N text转写文本总字符数text/sec每秒文本字符数反映语速sec/utt每条话语的平均时长。这些指标可用于快速评估数据分布、过滤异常时长样本以及计算训练吞吐量。六、在下游任务中的应用6.1 语音识别ASR训练数据接入生成的 Manifest 文件可直接被paddlespeech/s2t训练框架消费。从 paddlespeech/s2t/exps/deepspeech2/model.py 可以看到模型通过json_fileconfig.train_manifest、config.dev_manifest、config.test_manifest分别加载训练、验证与测试清单paddlespeech/s2t/exps/u2/trainer.py 中同样以config.manifest config.train_manifest / dev_manifest的方式切换数据集。也就是说只需在对应示例的*.yaml配置中将train_manifest/dev_manifest/test_manifest指向上述脚本生成的三个文件即可完成数据接入。以 examples/aishell/asr0 等目录中常见的流程为参照Aidatatang_200zh 的接入路径一般为运行准备脚本生成 Manifest → 在配置文件中指定 Manifest 路径 → 进入特征提取与训练环节。由于 Aidatatang_200zh 为纯中文普通话语料建议配套使用仓库 paddlespeech/s2t/frontend 下的中文前置处理拼音/音素转换等模块。6.2 声纹识别Speaker Verification训练数据接入Aidatatang_200zh 的 600 说话人结构使其天然适用于说话人验证任务仓库的 GE2E 声纹训练管线对此提供了直接支持在 paddlespeech/vector/exps/ge2e/dataset_processors.py 中process_aidatatang_200zh()将aidatatang_200zh/train目录下的每个子目录视为一个说话人目录speaker_dirs list((dataset_root).glob(*))并抽取其中的.wav作为该说话人的样本在 paddlespeech/vector/exps/ge2e/preprocess.py 中--dataset_names参数的可选值明确包含aidatatang_200zh与voxceleb1、voxceleb2、magicdata并列预处理时通过process_aidatatang_200zh注册到处理映射表第 96 行。因此执行声纹数据预处理时只需将--datasets_root指向包含aidatatang_200zh/train的目录并在--dataset_names中加入aidatatang_200zh即可。七、使用注意事项网络与镜像官方下载地址为 OpenSLR 62 号资源http://www.openslr.org/resources/62下载中断时wget -c可续传但最终必须通过脚本内置的 MD56e0f4f39cd5f667a7ee53c397c8d0949校验避免使用损坏文件磁盘与时长解压后的 200 小时音频移动端采样率录音体积较大且解压为双层压缩顶层 tgz 各说话人子 tar请预留充足磁盘空间脚本默认在解压子 tar 后自动删除以回收空间学术许可CC BY-NC-ND 4.0 许可限制商业使用与衍生修改模型发布与商用前务必核对授权条款空白清洗Manifest 中的text字段已去除全部空白字符若你的下游流程依赖标点或空格如带标点识别需自行在数据处理阶段按需恢复。综上所述Aidatatang_200zh 是仓库内置支持的中文语音语料准备链路中数据组织最规范、接入路径最清晰的案例之一从下载校验、目录解析到 Manifest 生成完全自动化且同时覆盖 ASR 与声纹两大核心任务可作为快速验证中文语音模型训练流程的高质量数据集。赞分享人工智能语音音频【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSpeech点击查看免费下载相关推荐Python调用LFM2.5-1.2B-Thinking-bf16mlx-lm的load与generate API实战手册Python调用LFM2.5 1.2B Thinking bf16mlx lm的load与generate API实战手册 LFM2.5 1.2B Think人工智能语音音频NLP媒体生成PaddleSpeech 中文语音语料库 MagicData 全解析语料规格、数据划分与工程接入指南PaddleSpeech 中文语音语料库 MagicData 全解析语料规格、数据划分与工程接入指南 MagicDataMAGICDATA Mandarin人工智能语音音频PaddleSpeech 声纹识别数据集 VoxCeleb 全解析数据下载、Manifest 生成与说话人验证实战PaddleSpeech 声纹识别数据集 VoxCeleb 全解析数据下载、Manifest 生成与说话人验证实战 VoxCeleb 是声纹识别说话人验证人工智能语音音频上一篇终极ChatGPT Google扩展可访问性优化指南提升色彩对比度与字体大小的实用技巧下一篇解决Windows游戏自动化输入难题PyDirectInput的技术实现与应用实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
