如果你同时拿同一份语料去训一个参数量相当的 Dense 模型和一个 MoE 模型前期几乎看不出差别甚至 MoE 在训练集上的 loss 掉得更快一些。但只要把语料里的重复文本比例调上去局面很快就会反转Dense 的验证集 loss 还在慢慢爬MoE 已经直接起飞。最近斯坦福那边有一份 2026 年的研究把这个现象彻底讲透了——MoE 比 Dense 更怕重复数据而且退化程度主要由总参数量/稀疏度决定正则化能有效拉回一部分差距。这篇文章我会把背后的机理、参数选择和实操中的调整方式都拆开讲清楚希望能帮正在训 MoE、尤其是还在被数据清洗折磨的朋友少踩几个坑。1. 先说结论为什么是“更怕重复”而不是“同样怕重复”1.1 重复数据对 Dense 模型意味着什么先看 Dense 模型的情况。Dense 模型里的每一个参数在每次前向和反向传播中都会参与计算也就是说每一个样本的梯度都会作用于所有参数。重复数据对 Dense 来说本质上是“同一份样本被喂了好几遍”模型的权重只是被反复推向同一个方向。这个过程中重复样本的信号会被其他样本的梯度稀释掉一部分因为所有样本都会共同更新同一组权重重复样本占比再高它也只是“把更新方向往前推了一把”并不会产生什么特殊的分化路径。所以 Dense 模型在重复数据下的过拟合更多是一种“温和”的过拟合参数慢慢记住了高频样本的分布验证集 loss 缓慢上升但整体表现还是相对平滑的。这就像老师傅干活不管客户提出多少遍同样的需求他还是用同一套综合能力去处理不会因为某一个需求重复出现就荒废掉其他不常用的技能。1.2 MoE 的额外风险路由选择带来的选择性过拟合MoE 模型的情况就完全不同了。MoE 的核心思想是“稀疏激活”每个 token 进来路由器先计算一个得分然后挑选 Top-K 个专家来处理这个 token。这意味着并不是所有专家都会看到每一个样本。重复数据对 MoE 来说不仅仅是“把梯度推向同一个方向”它还带来一个额外的问题路由器会学会“走捷径”。假设你的语料里有大量模板化文本这些文本在语义空间上高度相似。路由器很快就会习得一个模式“只要看到这个前缀就送专家 3 和专家 7 处理”。这个模式本身是一种捷径它让路由器的决策变得越来越确定越来越固定。于是重复样本被一次又一次地定向投喂给同一小撮专家这些专家在重复模式上被过度强化而其他专家则完全接触不到这一类样本根本学不会这部分分布。结果就是MoE 模型出现了一种 Dense 模型不会有的退化方式整体能力分布出现局部透支和局部闲置。验证集上只要出现一点点偏离训练集中高频模板的样式模型就崩了因为真正能泛化处理新样本的专家没有被训练到。1.3 一个类比老师傅与专家团你可以这样理解Dense 模型就像一个什么都会一点的老师傅所有知识都装在同一个脑子里无论什么活儿来了他都是调动全部经验去应对。而 MoE 模型更像你公司里的一群窄领域专家每次来活儿了你会根据活儿的内容叫上最对口的两位专家来干。现在问题来了如果客户天天拿同一个需求来找你你每次都喊专家 A 和专家 B 上场。这两个专家对这个需求越来越熟练但其他专家一直闲着。时间一长这两个专家对这个特定需求的“手艺”是炉火纯青可一旦客户需求稍微变一点其他闲置专家根本接不住活儿整个团队的综合能力反而变差了。这就是 MoE 在重复数据下比 Dense 更容易退化最根本的原因。2. MoE 架构里过拟合是怎么被悄悄放大的2.1 路由器学习“走捷径”路由器的参数在 MoE 整体参数量里占比并不大但它起到的是“调度中枢”的作用它决定了每一个 token 会被送到哪些专家手里。路由器自身的决策模式会在训练中被重复样本改变。当数据里反复出现同一类文本时路由器会快速对这些文本形成固定的偏好即使这类文本的语义空间里其实还有更多细微的变体没有被覆盖到。我在实际训练中观察到一个很有意思的现象对于重复文本占比很高的语料模型训练到中后期时路由器对同一前缀下不同 token 的分配会变得异常固定固定到什么程度呢同一类 token 在步骤 500 和步骤 2000 时被分配到的专家组合几乎完全一致。这看起来是“稳定”其实就是“坍缩”。路由分布失去多样性之后整个模型的表达能力会迅速下降因为每个 token 的表示都只会经过少数几条固定的路径跨专家组合、跨路径融合的机会大大减少。这时候如果你只看训练集 loss会以为模型已经收敛得很好了因为高频模板已经被那几条固定的专家路径刻画得非常完美。但一旦放到验证集哪怕只是稍微换一个模板样式模型的表现就会断崖式下跌。2.2 专家退化与“死专家”MoE 训练里的另一个经典问题就是“死专家”。所谓死专家是指某些专家在训练过程中几乎不被路由器选中梯度长期为零参数一直停留在初始状态附近。重复数据之所以会加剧死专家现象是因为路由器一旦形成对某些专家的固定偏好其他专家的路由概率就会被压缩到极低水平。这些专家即使偶尔被选中收到的训练信号也非常微弱根本不足以让它们的参数产生有意义的变化。这里需要留意的是负载均衡 loss 并不能完全解决这个问题。负载均衡 loss 的核心思想是约束路由器的选择尽量均匀但它只是一个软约束系数设置多大、数据本身的分布有多偏都会影响最终效果。我在实践中发现如果数据里本身存在大面积的重复文本强行把负载均衡 loss 系数调高反而可能把重复 token 硬塞到更多专家里相当于把污染面扩大了。专家是“活”过来了但学到的全是重复模式这比死专家还麻烦。2.3 顺带澄清一下“MoE 是不是需要把所有参数放进显存”这个话题经常有人问尤其是刚开始接触 MoE 训练的同学。先说结论推理阶段MoE 确实只需要把被激活的专家参数加载到显存里这是它省算力的核心优势。但训练阶段基本不是这样梯度、优化器状态、以及模型本身的全量参数都需要常驻显存因为反向传播时必须知道所有专家的梯度哪怕某些专家在某个 step 的梯度恰好为零。所以 MoE 在训练阶段的显存压力和同参数量的 Dense 相差不大真正省下来的是 FLOPs不是显存。这个点对“重复数据过拟合”这个话题的意义在于很多人以为 MoE 的参数量兑水了、可以随便加于是总参数越堆越大但每次激活的专家数一直卡在很小的值。这种配置恰恰是重复数据过拟合最严重的配置因为总参数量变大意味着记忆容量变大稀疏度变大意味着每次训练路径更窄两个因素叠加模型对重复样本的“定向记忆”能力会变得极其惊人。3. 决定退化程度的真正变量总参数量与稀疏度3.1 总参数量记忆容量是把双刃剑大模型的强项是记忆容量大能够记住训练数据里的各种复杂模式。但在重复数据面前这个优点反而变成弱点。重复样本包含两类信息一类是真正的语义信息一类是模板噪声。总参数量越大模型有能力把这两类信息都记住包括那些没有泛化价值的噪声细节。我做一个比较直观的实验你就会明白。同样一份包含 10% 重复文本的语料跑一个 1B 参数的 Dense 模型和一个 2B 参数的 Dense 模型后者在验证集上的表现不一定更差甚至可能更好因为参数多意味着对语义模式的刻画更精细重复样本的噪声会被相对稀释。但如果把同样的情况放到 MoE 上总参数量从 1B 加到 2B而激活参数量保持不变情况就完全不一样了。专家总数变多了但每次仍然只有那么几个专家会被激活重复样本会把这些少数专家的参数空间迅速占满。专家总容量变大可实际被重复样本反复写入的容量并没有同比例变大最终结果就是“浪费了大量专家却只强化了一条狭窄路径”。3.2 稀疏度重复样本反复命中一小撮专家稀疏度的定义很好理解就是总参数量除以激活参数量也可以看作是专家总数除以激活专家数。稀疏度越高意味着每次执行时被激活的专家越少计算效率越高但同时也意味着每次更新只能覆盖模型参数的极小一部分。我们做一个简单的算术假设模型总参数 40B激活参数 2B稀疏度是 20 倍。再假设语料里有一个重复出现的模板类占整体数据的 1%。如果激活专家数只有 2 个那么这一类的样本几乎每一次都会被路由到同样的一两个专家上。这些专家在一个 step 里收到的重复样本信号不再是“1% 数据的平均”而是“这一整类数据的全部注意力”。局部过拟合的严重程度可见一斑。对比一下如果把稀疏度从 20 倍降到 4 倍激活参数变成了 10B那么同一个模板类的样本会被分散到更多的专家里每个专家接收到的重复信号相对平均一些退化的幅度也会小很多。3.3 为什么“总参数/稀疏度”要一起看很多人在调 MoE 的时候只关注总参数量和稀疏度这两个数本身却忽略了它们之间的联动关系。其实这两个变量是乘积关系并不是独立的。同样一个 40B 总参数的模型稀疏度从 8 倍调到 16 倍激活参数量就从 5B 降到了 2.5B单步更新覆盖的参数范围小了一倍重复样本对少数专家的轰炸强度却大了一倍。我在复现斯坦福那份研究的实验配置时做了一个小矩阵。参数量固定稀疏度从 4 倍、8 倍一路调到 16 倍同时把重复文本的比例固定在 5%。结果非常清晰稀疏度越高验证集 loss 的抬升幅度越大。更关键的是这个趋势在总参数量越大的模型上越明显因为总参数越多路由器的选择空间越大固定偏好被重复样本塑造得越牢固。所以“总参数/稀疏度”作为一个整体指标比单独看某一个数字更能刻画 MoE 在重复数据下的退化风险。4. 正则化为什么有效机制与实操4.1 先分清楚“正则化”和“归一化”正式聊正则化之前先解决一个很多人会搞混的问题正则化和归一化有什么区别。归一化解决的是数值尺度问题比如把输入特征缩放到 0-1 区间或者把中间激活的均值方差拉平正则化解决的是泛化差距问题是任何抑制模型过度依赖训练集特有模式的策略。简单说归一化是让模型更好优化正则化是让模型更不容易钻牛角尖。回到 MoE 的场景我们需要的是正则化因为问题出在模型对重复数据的“定向记忆”上而不是数值尺度上。4.2 专家 DropoutMoE 里最直接的利器Dropout 是训练神经网络最常用的正则化手段之一在 MoE 上也有它的使用空间但位置和力度需要多琢磨。我试过把 Dropout 加在专家的输出层之前也试过直接对路由器的选择概率做 Dropout对比下来后者对缓解重复数据过拟合的效果更明显。为什么因为重复数据会让路由器形成固定的选择偏好路由器 Dropout 相当于强制它“偶尔看走眼”不让某一条路径被反复强化。具体来说在路由概率矩阵上应用 Dropout会让一部分 token 在训练过程中被随机分配到非偏好专家那里这些被临时选中专家如果恰好能处理这个样本就会削弱路由器的固定偏好同时也能让那些“冷门专家”偶尔拿到训练信号。参数经验上专家输出的 Dropout 我一般设在 0.1 到 0.2 之间路由 Dropout 设在 0.1 左右。再往上加效果不一定更好反而会导致收敛速度明显变慢甚至出现负载更加不均衡的情况。毕竟 Dropout 本质上是引入噪声噪声太大模型连正常的学习信号都会被淹没。4.3 路由正则项负载均衡和反坍缩除了 DropoutMoE 里最常用的正则项就是负载均衡 loss。负载均衡 loss 的思路很直接如果路由器的选择过于集中于少数专家就对这种不均衡施加惩罚。它的形式一般是让每个专家被分配到的概率尽量接近均匀分布。实际操作中这个 loss 系数我见过有人设 0.01有人设 0.1差距还挺大的。我的经验是系数从小往大调不要一上来就设一个很大的值。负载均衡 loss 的本质是约束如果约束太强模型的容量利用率反而会下降因为有些 task 本来就是该交给特定专家去办的强行均匀化会削弱 MoE 的分工优势。在重复数据本身比较严重的场景下我会把负载均衡系数适当提高让 token 更均匀地分散到更多专家稀释重复样本的定向打击但始终控制在 0.05 到 0.1 左右一旦发现专家选择熵开始显著下降就及时回调系数。另外还有一种有效的正则思路是从一致性正则化机制迁移过来的。简单说就是让同一个 token 在经过不同 Dropout 掩码的路径时输出尽量保持一致。这个思路对 MoE 尤其适用因为它可以抑制路由器对特定路径的依赖让模型学会“换一条路也能得到正确答案”从根上削弱重复数据的作用。4.4 数据侧正则去重本身就是“预正则”最后说一个经常被忽略的点数据去重。你可能觉得这算不上正则化但在 MoE 训练里去重就是一种最直接的预正则。正则化的本质是削掉训练集特有模式的过度影响而去重恰好是把重复文本这个最大的“特有模式”直接从源头移除。与其纠结各种正则系数不如先把语料里的重复文本清理干净。我分享一个实际做法先用精确哈希去重把完全相同的文本直接去掉再用 MinHash 做近似去重把那些只是格式或措辞略有变化的模板文本也筛出来。在百亿 token 级别的语料规模上这样一轮去重通常能清理掉 5% 到 10% 的重复内容对 MoE 模型验证集 loss 的影响比调任何一个正则系数都来得显著。5. 复现实验设计与验证5.1 可控的重复数据注入实验为了验证斯坦福那份研究里的结论我自己设计了一个小规模的对照实验。选了一个约 10 亿参数的中等规模模型作为 Dense baseline然后搭了一个总参数量 1B、激活参数 250M4 倍稀疏的 MoE 模型。数据集用了一个开源的中等规模英文语料先做一次彻底去重得到干净的 base 版本。然后通过复制文本的方式构造出重复比例分别为 2%、5%、10% 的版本。训练完成后观测验证集 loss结果和预期一致在重复数据比例为 2% 时Dense 和 MoE 的验证集 gap 还不算大MoE 只是比 Dense 稍差一点当重复比例升到 5% 时MoE 的验证集损失已经明显高于 Dense到了 10%两者的差距已经非常刺眼了。这个实验直接证明了标题里的第一个判断MoE 对重复数据的敏感度显著高于 Dense。5.2 固定计算预算下对比 Dense 与 MoE另一个值得跑的实验是固定计算预算下的对比。我不追求两边参数量完全一致而是让 Dense 和不同稀疏度的 MoE 消耗大致相同的 FLOPs然后对比它们在重复数据环境下的表现。这样做更贴近真实业务场景因为大家选 MoE 本来就是为了省算力而不是为了单纯堆参数。配置大概是这样的Dense baseline 用 1B 参数MoE-A 总参数 1B激活参数 250MMoE-B 总参数 2B激活参数 250M。两个 MoE 的 FLOPs 相当但参数量差了一倍。在干净语料上MoE-B 明显优于 MoE-A因为参数量更大、记忆容量更强但在 10% 重复数据下MoE-B 的优势会被严重压缩因为重复样本会被路由到更少的专家上参数增加带来的收益被定向过拟合抵消掉一大半。这个实验非常有用它说明了一个容易被忽略的问题在数据质量不够好的前提下盲目加大 MoE 的总参数量收益可能没有你想象的大甚至可能因为重复污染而反噬。5.3 从验证集困惑度到路由熵的观测指标训练过程中除了关注 loss我更建议你多盯几个指标尤其是路由熵。路由熵可以量化路由器选择分布的多样性熵越高说明 token 被分配得越均匀熵越低说明路由器越倾向于固定选择少数专家。我在训练脚本里加了一个简单的统计def compute_router_entropy(router_probs): # router_probs: [batch_size, num_experts] return -torch.sum(router_probs * torch.log(router_probs 1e-8), dim-1).mean().item()每 1000 step 打印一次这个数值。在干净语料上路由熵通常会维持在一个相对稳定的区间一旦训练集里重复文本的影响开始显现路由熵会显著下降而且这个下降往往早于验证集 loss 的恶化。你完全可以用它作为“重复污染预警器”提前发现数据问题。我自己的经验是如果路由熵连续 5000 步下降超过 15%就算当前验证集 loss 还没有明显变差也一定要停下来检查数据了。因为一旦路由器形成了固定的偏好后面再想去拆散它要花费的成本比从一开始就避免它要高得多。6. 对实际训练工程的几个直接建议6.1 数据去重的优先级应该超过模型设计不管你的 MoE 架构调得多花哨如果语料里有明显的重复文本你的注意力应该先放在数据上。去重这件事看起来简单实际做起来工程量大得惊人。大规模语料的重复文本往往不是完全相同的字符串而是各种模板化页面、改写过的营销文案、新闻通稿的变体。精确去重可以用 datasketch 这类库实现 MinHash LSH先把文档拆成 shingle 集合再为每个集合计算一个指纹通过分桶找出近似重复的文本。模糊去重则可以通过 n-gram 重叠比例或者 embedding 相似度来做第二层过滤。在实际的大规模语料里做一轮两层去重通常能清理掉不少“看起来不一样、训练起来效果一样”的重复样本这些样本对 MoE 的负面影响比你想象中要大得多。6.2 不要把稀疏度拉得太高在数据质量不算特别理想的情况下我建议你对稀疏度保持谨慎。市面上很多宣传 MoE 算力优势的文章都会强调“激活参数很小”于是很多人一上来就把稀疏度拉到 32 倍甚至 64 倍总觉得专家越多、效果越好。但现实是稀疏度越高单次激活覆盖的专家越少重复样本对那一两个专家的定向轰炸强度就越大。如果你的语料做过严格去重可以适当把稀疏度调高享受算力红利如果语料的重复率仍然在 2% 以上我会建议把稀疏度控制在 8 倍以内。从我的实验数据来看8 倍到 16 倍之间的性能差异在干净数据上可能不大但在重复污染下会急剧拉大。在做架构选型时这应该是一个重要的考量因素。6.3 把正则能力当成训练配置的正式成员最后正则化相关的能力不要当作“万一情况”才拿出来用应该从一开始就配置好。我的标准配置大概是这样的路由 dropout 设 0.1专家输出 dropout 设 0.1 到 0.2负载均衡 loss 系数设 0.01 到 0.05同时在路由器预测上加一个小幅度的一致性正则。整套配置跑下来模型在干净数据和含重复数据两种场景下的差距会比完全不设防的版本小很多。这里还要提醒一点正则不是越多越好。MoE 的优势就是分工高效如果正则太强路由器被约束得完全均匀MoE 的结构优势就没了。你需要在“专家路径稳定”和“专家路径多样”之间找一个平衡点。我的调法是先跑一个小规模的 ablation固定数据、固定模型配置只调路由 dropout 和负载均衡 loss 的系数观察验证集 loss 和路由熵的变化趋势找到那个拐点再上大规模训练。7. 一点额外的 debug 技巧7.1 从路由分布反推数据问题最后分享一个我一直在用的 debug 技巧训练好的 MoE把训练集里的 token 和它们对应的路由分布拉一张统计表你可以直接看到哪些专家在高频承接哪些类别的 token。用这个表反向去查语料常常能发现一些你根本没想到的重复源头。比如我曾经在一个开源语料里发现某个专家几乎承包了所有带特定公司名称的段落一查才知道这些段落来自同一个网站的不同镜像页面正文几乎一字不差。要不是看路由分布这种重复很难通过常规去重流程被锁进。这种“从模型侧反推数据漏洞”的 debug 方式在我自己的工程实践里非常实用因为它不需要你把每一行数据都检查一遍而是让模型直接告诉你它是靠谁的“记忆”拟合出来的。7.2 这份工作后续还可以做什么斯坦福这份研究之外我对几个方向还挺感兴趣的。一个是把“重复数据敏感度”变成一个可以离线评估的指标通过往一个固定的小语料里注入不同比例的重复文本提前测出候选模型的鲁棒性再决定要不要上大规模训练这笔账算下来能省很多钱。另一个方向是自适应正则强度整个训练过程中根据路由熵的实时变化来调节正则系数熵一降就把正则拉大把坍缩抑制在早期阶段。这两个方向都不需要特别深的理论基础但工程收益是实实在在的。如果你正好也在做 MoE 训练不妨在这上面下点功夫应该会有不错的收获。
