人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载标点恢复Punctuation Restoration是自动语音识别ASR系统中常见的后处理环节ASR 输出的纯文本没有标点直接阅读困难也会干扰分词、命名实体识别等下游 NLP 任务。本文以 PaddleSpeech 仓库中的 demos/punctuation_restoration 演示为主线完整介绍如何用一条命令或几行 Python 代码为原始文本恢复标点并深入 TextExecutor 源码 与 ErnieLinear 模型实现讲解参数含义、推理调用链、预训练模型选型以及基于 IWSLT2012 数据集的训练流程。读完本文你将掌握 PaddleSpeech 标点恢复功能的完整使用方案并能自行扩展模型与数据。一、为什么需要标点恢复语音识别系统的输出通常是一串没有标点的连续文本。例如识别结果是今天的天气真不错啊你下午有空吗我想约你一起去吃饭这样的文本存在两个问题可读性差没有标点人类阅读时需要自行断句长句场景尤其费力阻碍下游 NLP 任务机器翻译、信息抽取、情感分析等任务依赖句子边界缺少标点会显著影响效果。标点恢复就是把标点符号加回去的后处理技术它是 ASR 系统中提升转录文本可读性、衔接下游任务的重要一环。PaddleSpeech 将标点恢复封装为text任务的punc子任务底层使用基于 ERNIE 预训练模型的序列标注方法支持直接推理也支持自定义数据训练。二、安装与环境准备在使用标点恢复功能之前需要先安装 PaddleSpeech。仓库的 安装文档 提供了 easy、medium、hard 三种安装方式easy推荐直接通过 pip 安装 PaddleSpeech 及其依赖medium额外编译安装一些工具hard从源码编译适合需要定制底层能力的场景。同时需要确保环境中已安装 PaddlePaddlepaddlespeech text命令行与 Python API 都会依赖它来完成模型推理device参数默认取自paddle.get_device()。安装完成后可通过paddlespeech text --help查看命令帮助确认安装成功。三、命令行快速体验标点恢复的输入是特定语言的原始文本通过--input参数直接传入无需准备任何文件。在终端执行paddlespeech text --input 今天的天气真不错啊你下午有空吗我想约你一起去吃饭运行成功后输出如下日志时间因环境而异[2021-12-14 19:50:22,200] [ INFO] [log.py] [L57] - Text Result: 今天的天气真不错啊你下午有空吗我想约你一起去吃饭。从输出可以看到模型在啊后补充了感叹号、在吗后补充了问号、在句尾补充了句号。仓库中的 run.sh 正是这条命令的脚本化封装#!/bin/bash paddlespeech text --input 今天的天气真好啊你下午有空吗我想约你一起去吃饭demo 目录下同时提供了中英文 READMEREADME.md 与 README_cn.md方便不同语言用户查阅。命令行参数详解paddlespeech text的参数在 TextExecutor 的 argparse 定义中逐一声明各参数含义与默认值如下参数是否必填默认值说明--input必填None待恢复标点的原始文本--task可选punc子任务类型目前仅支持punc--model可选ernie_linear_p7_wudao文本任务模型类型--lang可选zh模型语言可选zh/en--config可选None模型配置文件为None时使用预训练模型自带配置--ckpt_path可选None模型 checkpoint 文件为None时自动下载预训练模型--punc_vocab可选None标点词表文件为None时使用预训练模型自带词表--device可选paddle.get_device()推理设备默认取当前环境 paddlepaddle 的默认设备需要注意几点--task的可选值在源码中被限定为[punc]见 infer.py 的 choices 定义说明当前text子命令聚焦于标点恢复这一个任务--model的可选值并非写死而是由self.task_resource.pretrained_models.keys()动态生成意味着新增预训练模型后无需修改代码即可扩展当config、ckpt_path、punc_vocab三者均为None时推理器会根据model-task-lang拼接出的 tag如ernie_linear_p7_wudao-punc-zh自动定位并下载对应的预训练资源这一逻辑在 _init_from_path 中实现。四、Python API 调用除命令行外还可以在 Python 脚本中调用TextExecutor完成标点恢复。demo 中的示例代码如下import paddle from paddlespeech.cli.text import TextExecutor text_executor TextExecutor() result text_executor( text今天的天气真不错啊你下午有空吗我想约你一起去吃饭, taskpunc, modelernie_linear_p7_wudao, langzh, configNone, ckpt_pathNone, punc_vocabNone, devicepaddle.get_device()) print(Text Result: \n{}.format(result))输出Text Result: 今天的天气真不错啊你下午有空吗我想约你一起去吃饭。Python API 的__call__方法签名与命令行参数一一对应见 TextExecutor.call并且对不同代际的模型走了两条推理路径对于ernie_linear_p7_wudao、ernie_linear_p3_wudao这类老版本模型走_init_from_path旧式加载对于其他新模型如ernie-3.0-*系列走_init_from_path_new新式加载用paddle.load显式加载 state_dict。两种路径最终都会依次执行preprocess → infer → postprocess三段式流水线返回恢复标点后的完整文本字符串。五、预训练模型选型PaddleSpeech 为标点恢复任务发布了多个预训练模型均可被命令行和 Python API 直接使用模型语言标点类型数ernie_linear_p3_wudaozh3。ernie_linear_p7_wudaozh7。、模型名称中的p3/p7直接对应标点词表的大小p3模型只区分逗号、句号、问号三类标点输出更保守、速度更快适合标点体系简单的场景p7模型额外覆盖感叹号、顿号、冒号、分号共 7 类标点表达更丰富是当前--model的默认选择。需要说明的是这些预训练模型的具体评测指标并未在该 demo 文档中给出但仓库的 examples/iwslt2012/punc0/README.md 提供了基于 IWSLT2012-Zh 数据集的完整实验结果表含 Ernie 1.0、Ernie-tiny、Ernie-3.0 各尺寸变体的 Precision / Recall / F1可以作为衡量不同骨干模型效果的参考。六、源码级原理推理调用链与 ErnieLinear 模型理解源码能帮你更好地选参数、调模型。标点恢复的完整调用链如下paddlespeech text --input ... │ ▼ TextExecutor.execute() # 命令行入口解析参数 │ ▼ TextExecutor.__call__() # Python API 入口 │ ▼ _init_from_path() / _init_from_path_new() # 加载词表、模型与 tokenizer │ ▼ preprocess() → infer() → postprocess() # 三段式推理流水线1. 模型结构ErnieLinear核心模型 ErnieLinear 是一个基于 ERNIE 预训练模型的序列标注分类器主体是ErnieForTokenClassification来自 PaddleNLP默认加载ernie-1.0预训练权重前向传播时ERNIE 编码器为每个 token 输出隐藏状态经paddle.reshape展平为[-1, num_classes]的 logits再通过nn.Softmax得到概率分布推理时对 logits 取argmax得到每个 token 的标点类别预测见 infer 方法。也就是说标点恢复被建模为逐 token 的多分类任务每个汉字/词对应一个输出位置类别 0 表示不加标点其余类别对应不同的标点符号。2. 预处理文本清洗与 token 化在 preprocess 之前先经过 _clean_text 清洗def _clean_text(self, text): text text.lower() text re.sub([^A-Za-z0-9\u4e00-\u9fa5], , text) text re.sub(f[{.join([p for p in self._punc_list][1:])}], , text) return text清洗规则为统一小写只保留英文字母、数字与中文字符剔除其余字符再把输入中可能已存在的标点词表第 1 项之后的所有标点全部移除。这保证送入模型的永远是纯净的无标点文本。随后使用ErnieTokenizer对字符列表进行切分产出input_ids、token_type_ids和seq_len三个张量作为模型输入。3. 后处理标点回填在 postprocess 中推理得到的预测标签被逐 token 映射回文本for t, l in zip(tokens, labels): text t if l ! 0: # Non punc. text self._punc_list[l]即每个 token 输出后如果预测类别l ! 0就紧接着拼上词表中对应的标点符号。拼接完成后即得到最终的可读文本。相同的逻辑也出现在独立的 punc_restore.py 测试脚本 中可以作为理解全流程的对照实现。七、进阶自定义数据训练标点恢复模型demo 聚焦于推理但仓库同时提供了完整的训练与评测链路。以examples/iwslt2012/punc0为例可以端到端训练自己的标点恢复模型# 数据预处理 ./run.sh --stage 0 --stop-stage 0 # 模型训练 ./run.sh --stage 1 --stop-stage 1 # 测试指标评估 ./run.sh --stage 2 --stop-stage 2 # 标点恢复推理验证 ./run.sh --stage 3 --stop-stage 3四个 stage 分别对应数据准备、训练、测试与推理相关脚本位于 local/ 目录。训练配置文件解读训练入口 train.py 通过 yacs 的CfgNode读取配置default.yaml 中关键配置项如下配置项示例值说明dataset_typeErnie数据集类型可选Punc/Ernietrain_path/dev_path/test_pathdata/iwslt2012_zh/*.txt训练/验证/测试数据路径batch_size64批大小data_params.pretrained_tokenernie-1.0ERNIE 预训练模型名data_params.punc_pathdata/iwslt2012_zh/punc_vocab标点词表路径data_params.seq_len100序列最大长度model_typeErnieLinear模型类名model.pretrained_tokenernie-1.0模型内部使用的预训练权重model.num_classes4分类数1 个无标点 3 个标点类别optimizer_params.weight_decay1.0e-6L2 权重衰减系数scheduler_params.learning_rate1.0e-5学习率scheduler_params.gamma0.9999指数衰减因子越接近 1.0 越好max_epoch20最大训练轮数num_snapshots10保留的模型快照数量seed42随机种子保证可复现训练流程使用CrossEntropyLoss作为损失函数、Adam优化器配合ExponentialDecay学习率调度并挂载了VisualDL可视化与Snapshot快照扩展对应代码见 train.py 中 Trainer 的构建。需要注意model.num_classes必须与punc_vocab词表大小一致1 标点种类数。选择更大的 ERNIE 骨干conf/目录下还提供了多个 ERNIE 3.0 系列变体的配置例如ernie-3.0-base.yamlernie-3.0-medium.yamlernie-3.0-mini.yamlernie-3.0-nano-zh.yamlernie-tiny.yaml这些配置在骨干模型与num_classes等参数上有所区别。从 examples/iwslt2012/punc0/README.md 的结果表可以推断不同尺寸的 ERNIE 变体在 Precision、Recall 与 F1 上各有取舍——较大的模型如 base通常精度上限更高较小的模型如 tiny、nano更适合资源受限的部署环境实际选型需结合数据规模与推理延迟综合权衡。训练完成后将产出 checkpoint 与词表即可通过--config、--ckpt_path、--punc_vocab三个参数让推理器加载你自己的模型此时不再自动下载预训练权重。八、小结PaddleSpeech 的标点恢复功能为 ASR 后处理提供了开箱即用的解决方案一行命令即可体验paddlespeech text --input raw_text也支持等价的 Python API预训练模型开箱即用ernie_linear_p3_wudao3 类标点与ernie_linear_p7_wudao7 类标点覆盖常见中文标点体系源码可读可扩展TextExecutor 的三段式推理流水线、ErnieLinear 的序列标注结构清晰且可通过--config、--ckpt_path、--punc_vocab无缝切换到自定义训练模型完整训练链路齐备基于 examples/iwslt2012/punc0 可复现数据预处理、训练、评测与推理全流程。无论你是想快速为 ASR 转录文本加上标点还是希望基于自有语料训练定制化的标点恢复模型都可以直接以本文与上述仓库文件为起点展开实践。赞分享人工智能语音音频NLP媒体生成【免费下载链接】PaddleSpeechEasy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.项目地址https://gitcode.com/paddlepaddle/PaddleSpeech点击查看免费下载相关推荐PaddleSpeech 标点恢复Punctuation Restoration实战指南从命令行到源码原理PaddleSpeech 标点恢复Punctuation Restoration实战指南从命令行到源码原理 标点恢复Punctuation Restor人工智能语音音频PaddleSpeech 标点恢复Punctuation Restoration实战指南从命令行到源码级原理PaddleSpeech 标点恢复Punctuation Restoration实战指南从命令行到源码级原理 标点恢复是语音识别ASR系统中提升转录文人工智能语音音频NLP媒体生成PaddleSpeech 标点恢复Punctuation Restoration实战一行命令为 ASR 文本智能补全标点PaddleSpeech 标点恢复Punctuation Restoration实战一行命令为 ASR 文本智能补全标点 标点恢复Punctuation人工智能语音音频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
