fairseq 非自回归机器翻译NAT模型训练脚本全解从 NAT 到 LevT 的六套可复现实战配置【免费下载链接】fairseqFacebook AI Research Sequence-to-Sequence Toolkit written in Python.项目地址: https://gitcode.com/gh_mirrors/fa/fairseq导读本文以 fairseq 官方示例 examples/nonautoregressive_translation/scripts.md 为骨架系统讲解在 fairseq 中训练六类非自回归机器翻译Non-autoregressive Machine TranslationNAT模型的完整脚本Non-autoregressive TransformerNAT、NAT-CRF、迭代精炼 NATiNAT、Insertion TransformerInsT、Mask-PredictCMLM与 Levenshtein TransformerLevT。读完本文你将掌握translation_lev任务与nat_loss准则的用法、每种模型的专属开关如长度预测、CRF 低秩近似、训练步数、温度参数等以及如何把训练好的模型接入迭代精炼生成器完成推理。一、为什么需要这套训练脚本传统 Transformer 解码是逐 token 自回归的生成第 t 个词依赖前 t-1 个词推理延迟随目标长度线性增长。非自回归模型打破这一依赖在一步或少数几步内并行生成整句显著降低解码延迟。代价是建模难度上升因此衍生出先预测长度再并行填词NAT、预测-细化CMLM、迭代精炼iNAT、插入式生成InsT、编辑式生成LevT和结构化解码NAT-CRF等多种路线。fairseq 将这些模型统一挂在translation_lev任务与nat_loss准则之下仅通过--arch与少量专属参数切换模型训练脚本高度同构。本文的六套脚本均以 WMT14 英德En-De蒸馏数据集data-bin/wmt14_en_de_distill为输入可直接复制运行。二、六个模型的公共骨架任务、准则与噪声2.1 任务translation_lev训练时注入噪声所有脚本都使用--task translation_lev。该任务在 fairseq/tasks/translation_lev.py 中实现类名为TranslationLevenshteinTask其核心职责是在训练/验证时对目标句注入噪声让模型学会从受损输入恢复完整句子。噪声类型通过--noise指定任务内部用ChoiceEnum枚举限制取值范围见 translation_lev.py--noise取值含义适用模型full_mask除bos/eos/pad外全部替换为unkNAT、NAT-CRFrandom_delete按均匀概率随机删除若干 token保留首尾LevT、InsTrandom_mask随机 mask 部分 token 为unkCMLMno_noise不注入噪声自定义场景以_full_mask为例translation_lev.py实现是用unk覆盖所有非特殊 token_random_delete则先为每个 token 打分排序再随机截断删除一部分translation_lev.py。train_step中把加噪后的目标存入sample[prev_target]再交给准则计算translation_lev.py。2.2 准则nat_loss多目标损失的加权聚合所有脚本使用--criterion nat_loss。该准则对应 fairseq/criterions/nat_loss.py 中的LabelSmoothedDualImitationCriterion它不假设单一损失而是遍历模型forward返回的每个输出项分别用交叉熵/标签平滑或自定义损失计算再按各自的factor加权求和nat_loss.py。因此一个 NAT 模型可以同时输出多个头例如 NAT 模型同时返回word_ins词预测与length长度预测两个损失项LevT 返回mask_ins、word_ins、word_del三项。--length-loss-factor、--word-ins-loss-factor正是通过这些factor控制各项损失的权重。2.3 公共训练参数解读六套脚本共享的配置项含义如下--ddp-backendlegacy_ddp使用传统数据并行后端兼容性最好适合单机多卡复现。--share-all-embeddings编码器、解码器与输出层共享词嵌入NAT 场景常用。--optimizer adam --adam-betas (0.9,0.98)Adam 优化器及其 beta 系数。--lr 0.0005 --lr-scheduler inverse_sqrt初始学习率 5e-4采用 inverse_sqrt 调度。--warmup-updates 10000 --warmup-init-lr 1e-07 --stop-min-lr 1e-091 万步预热预热起始学习率 1e-7最低学习率 1e-9。--label-smoothing 0.1 --dropout 0.3 --weight-decay 0.01标签平滑、dropout 与权重衰减。--encoder-learned-pos --decoder-learned-pos编码器/解码器使用可学习位置嵌入。--apply-bert-init使用 BERT 风格的自定义参数初始化。该选项在 fairseq/models/nat/fairseq_nat_model.py 中注册会调用init_bert_params对编码器、解码器整体初始化是 NAT 模型收敛的重要技巧。--max-tokens 8000单 batch 最大 token 数按 batch 内总词数切分。--save-interval-updates 10000 --max-update 300000每 1 万步存一次 checkpoint最多训练 30 万步。--log-format simple --log-interval 100简单日志格式每 100 步打印一次。--fixed-validation-seed 7固定验证集采样种子保证可复现。三、模型一Non-autoregressive TransformerNATNATGu et al., 2017是经典的单步并行生成模型。正如原文档强调的NAT 必须额外配备一个长度预测模块--length-loss-factor——先预测目标句长度再基于该长度一次性并行填词。完整训练脚本原文档脚本 1fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-train \ >fairseq-generate \ >fairseq-generate \ >fairseq-generate \ contenteditable="false">【免费下载链接】fairseqFacebook AI Research Sequence-to-Sequence Toolkit written in Python.项目地址: https://gitcode.com/gh_mirrors/fa/fairseq创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
