1. 从一场直播聊起MiMo-V2.6 到底在折腾什么小米把 MiMo-V2.6 的强化学习训练过程直接搬到了直播间这件事本身比模型参数更值得琢磨。我做强化学习落地这些年见过太多团队把训练过程捂得严严实实只放一个跑分结果出来中间烧了多少卡、废了多少轮、信用分配怎么设计的一概不提。MiMo-V2.6 这次直播的核心看点其实就三个词异步 RL、Agentic 信用分配、成本透明化。这三个词串起来讲的是一件事——当强化学习从单轮问答打分进化到多步智能体任务之后训练成本和信用分配这两个老大难问题到底该怎么解。先说清楚这个内容适合谁看。如果你只是调过 TRL 跑个 PPO 微调或者用 IQL 做过离线强化学习的小实验那这篇能帮你把视野从单步 reward拉到多步轨迹信用分配的层面。如果你已经在做多智能体强化学习或者大语言模型强化学习那异步 RL 的工程细节和成本核算方式应该能直接抄作业。至于完全没接触过强化学习入门内容的朋友我尽量用生活化的类比把原理讲透但坦白说Agentic 信用分配这块需要你对轨迹和优势函数有基本概念不然读起来会有点吃力。MiMo-V2.6 这次直播最有价值的地方不是它秀了什么新算法而是它把异步 RL 的工程架构和信用分配的成本账摊开给你看。异步 RL 解决的是采样慢、训练等的吞吐问题Agentic 信用分配解决的是多步任务里到底哪一步该奖励的归因问题成本透明化则是把这两件事的代价量化出来。这三者不是独立的异步架构会直接影响信用分配的精度信用分配的设计又会反过来决定你能不能用异步。我下面会按这个逻辑一层层拆。2. 异步 RL 的工程架构为什么不能老老实实同步跑2.1 同步 RL 的瓶颈到底卡在哪先讲同步 RL 为什么在 Agentic 场景下会崩。传统同步 RL 的流程是采样一批轨迹等这批全部采完然后统一做前向和反向传播更新策略更新完再采样下一批。这个流程在单步任务里没问题比如你让模型做一道选择题采样和训练的时间比大概是 3:1 到 5:1还能接受。但到了 Agentic 任务一条轨迹可能包含十几步甚至几十步的工具调用、环境交互、自我反思采样时间直接爆炸。我实测过一个典型场景让模型完成一个需要调用搜索、计算器、代码执行器的多步任务平均每条轨迹 18 步单步推理延迟 0.8 秒一条轨迹光采样就要 14 秒以上。如果 batch size 是 64同步采样一轮就是 15 分钟左右而策略更新可能只需要 2 分钟。这意味着80% 以上的时间GPU 在等采样。更麻烦的是Agentic 任务的轨迹长度方差极大有的 5 步就结束有的 40 步还在绕圈同步架构下必须等最慢的那条快的那批算力全浪费了。注意轨迹长度方差是 Agentic RL 和传统 RL 最大的工程差异之一。传统 RL 的 episode 长度通常有上限且分布集中Agentic 任务的步数分布是长尾的这个长尾会直接吃掉你的吞吐。2.2 异步 RL 的核心设计采样与训练解耦异步 RL 的思路很直接把采样和训练拆成两个独立的进程池用队列解耦。采样进程持续往经验回放池里塞轨迹训练进程持续从池子里取数据更新策略两边互不等待。这样 GPU 利用率能从同步架构的 20% 拉到 70% 以上理论上吞吐提升 3 到 4 倍。但异步带来一个致命问题策略滞后policy lag。采样用的策略版本和训练用的策略版本不一致你拿旧策略采的数据去更新新策略梯度方向是有偏的。同步 RL 里这个偏差是 0异步 RL 里偏差大小取决于你的队列深度和更新频率。MiMo-V2.6 直播里提到的做法我推测是用了重要性采样修正 策略版本裁剪的组合给每条轨迹打上采样时的策略版本号训练时用重要性权重 ( \frac{\pi_{new}(a|s)}{\pi_{old}(a|s)} ) 做修正同时限制新旧策略的 KL 散度不超过一个阈值超过就丢弃这条数据。这个阈值怎么定我自己的经验是Agentic 任务里 KL 阈值设在 0.01 到 0.03 之间比较稳。设太小数据利用率低异步的吞吐优势发挥不出来设太大策略更新方向跑偏训练曲线会剧烈震荡。MiMo-V2.6 直播里应该展示了这个阈值的敏感性分析可惜直播没法回看细节我只能按常见实践给个参考范围。2.3 异步架构下的经验回放池设计经验回放池不是简单的一个队列它的设计直接决定异步 RL 能不能跑稳。我踩过的坑是一开始用 FIFO 队列结果训练进程总是取到最老的数据策略滞后严重训练直接不收敛。后来改成优先级采样 版本分层才把曲线拉回来。具体做法是回放池按策略版本号分成若干层训练进程优先取最新版本的数据旧版本数据按比例混入。混合比例我一般设 7:3即 70% 最新版本 30% 历史版本。历史版本的作用是防止策略在局部最优附近震荡相当于给优化过程加了个惯性项。MiMo-V2.6 直播里提到的成本透明化我猜有一部分就是在展示这个回放池的命中率和数据复用率因为回放池设计不好数据复用率低采样成本就下不来。回放池策略吞吐提升策略滞后训练稳定性适用场景FIFO 队列2.5x高差不推荐优先级采样3.2x中中短轨迹任务版本分层混合3.8x低好Agentic 长轨迹全量保留1.2x极低极好小规模调试这张表是我自己跑出来的经验值不是 MiMo-V2.6 的官方数据但逻辑是通的回放池越聪明异步的收益越大但实现复杂度也越高。如果你刚开始做异步 RL建议从优先级采样起步跑通了再上版本分层。3. Agentic 信用分配多步任务里到底该奖励哪一步3.1 信用分配为什么在 Agentic 场景下变难了信用分配credit assignment是强化学习的核心问题一条轨迹最终拿到了奖励这个奖励应该归功于哪些动作在单步任务里这个问题不存在因为只有一个动作。在传统多步 RL 里用折扣因子 ( \gamma ) 和优势函数 ( A(s,a) Q(s,a) - V(s) ) 就能解决每一步的贡献按时间折扣衰减。但 Agentic 任务把这个问题的难度拉高了一个量级。原因有三个第一动作空间是语言 token 序列不是离散的原子动作一个调用搜索工具的动作可能对应几十个 token奖励该归到哪个 token 上第二轨迹里有工具调用和环境反馈环境返回的结果不是模型生成的但会影响后续决策这部分信用怎么算第三稀疏奖励很多 Agentic 任务只在最后给一个成功/失败的信号中间步骤没有任何反馈折扣因子一乘前面步骤的梯度几乎为零。MiMo-V2.6 直播里提到的 Agentic 信用分配我理解核心是在解第三个问题怎么在稀疏奖励下给中间步骤分配合理的信用。常见做法有三种过程奖励模型PRM、蒙特卡洛树搜索MCTS回传、以及逆强化学习IRL推断中间奖励。直播里没明说用哪种但从成本透明化这个点反推我猜是 PRM 和 MCTS 的结合因为这两种方法的计算成本可以直接量化。3.2 过程奖励模型PRM的实操细节PRM 的思路是单独训练一个模型给轨迹的每一步打分把稀疏的最终奖励变成稠密的步骤奖励。听起来很美好但实操里有几个坑。第一个坑是标注成本。训练 PRM 需要人工标注每一步的好坏Agentic 任务一条轨迹 20 步标 1000 条轨迹就是 20000 个标注点成本极高。MiMo-V2.6 直播里如果展示了成本透明化这部分标注成本应该是大头。我自己的做法是用规则自动标注 人工抽检对于工具调用类步骤调用成功且返回结果被后续步骤使用自动标为正调用失败或返回结果被忽略自动标为负只有模棱两可的步骤才人工介入。这样能把标注成本压到纯人工的 20% 左右。第二个坑是PRM 和策略的耦合。PRM 打的分和策略实际获得的奖励如果分布不一致训练会跑偏。解决办法是定期用策略的实际回报校准 PRM比如每训练 100 轮用当前策略跑一批轨迹比较 PRM 预测的步骤奖励和实际最终奖励的相关性相关性低于 0.6 就重新校准 PRM 的输出层。提示PRM 不是训练一次就完事的它需要和策略一起迭代。我见过太多团队把 PRM 当静态模型用结果策略更新几轮后 PRM 就失效了训练曲线直接崩。3.3 MCTS 回传与成本核算MCTS 回传的思路是在每一步做决策时不只走一条路而是展开多條候选路径用最终奖励回传更新每一步的价值估计。这个方法在 AlphaGo 里验证过但搬到 Agentic 任务里成本是最大的障碍。Agentic 任务一步的推理成本可能是传统棋类游戏的几百倍展开宽度 5、深度 10 的 MCTS计算量是单条轨迹的 50 倍以上。MiMo-V2.6 直播里提到的成本透明化我猜有一部分就是在展示 MCTS 展开宽度和训练效果的成本曲线。我自己的经验是MCTS 展开宽度设 3 到 5 比较划算再宽收益递减明显。深度方面Agentic 任务不需要展开到终点展开 3 到 4 步做局部信用分配就够了全局信用还是靠最终奖励回传。这样能把 MCTS 的额外计算成本控制在单条轨迹的 10 到 15 倍配合异步 RL 的吞吐优势整体训练时间还能接受。信用分配方法额外计算成本信用分配精度实现难度适用场景折扣因子 优势函数几乎为零低低短轨迹、稠密奖励PRM 过程奖励中需训练 PRM中高中中等长度轨迹MCTS 回传高10-15x高高关键决策步骤PRM MCTS 混合中高最高高Agentic 长轨迹这张表的成本数据是我按自己的硬件环境估算的不同团队会有差异但相对关系是稳定的。PRM MCTS 混合是 MiMo-V2.6 直播里最可能采用的方案因为它兼顾了精度和成本而且两个模块的成本可以分开核算符合成本透明化的叙事。4. 成本透明化把账算清楚才能持续迭代4.1 训练成本的三个大头Agentic RL 的训练成本我把它拆成三块采样成本、信用分配成本、策略更新成本。采样成本主要是推理算力信用分配成本包括 PRM 训练和 MCTS 展开策略更新成本是反向传播的算力。在同步 RL 里采样成本占 70% 以上在异步 RL 里采样成本占比降到 50% 左右信用分配成本升到 30%策略更新成本占 20%。MiMo-V2.6 直播里如果做了成本透明化应该会展示这三块成本随训练轮次的变化曲线。我自己的观察是信用分配成本在训练前期占比高后期逐渐下降。原因是前期策略差轨迹质量低PRM 和 MCTS 需要做更多修正后期策略收敛轨迹质量高信用分配的计算量自然减少。这个规律对预算规划很有用如果你只有有限的算力预算前期要多留信用分配的余量后期可以把算力往采样倾斜。4.2 异步 RL 的成本核算公式异步 RL 的成本核算比同步复杂因为采样和训练并行你不能简单把两边时间相加。我用的公式是[ C_{total} \max(C_{sample}, C_{train}) \times T C_{credit} \times T ]其中 ( C_{sample} ) 是采样进程池的单位时间成本( C_{train} ) 是训练进程池的单位时间成本( C_{credit} ) 是信用分配的单位时间成本( T ) 是训练总时长。这个公式的关键是max 操作异步架构下采样和训练并行总成本取决于两者中更慢的那个而不是两者之和。这就是异步 RL 成本优势的来源。但实际核算时有个陷阱信用分配成本不能并行。PRM 打分和 MCTS 展开通常要在采样完成后做它和采样、训练是串行的。所以更准确的公式是[ C_{total} \max(C_{sample}, C_{train}) \times T C_{credit} \times T_{credit} ]其中 ( T_{credit} ) 是信用分配的实际耗时通常小于 ( T )因为不是每条轨迹都需要完整的信用分配。MiMo-V2.6 直播里如果展示了成本透明化这个公式应该是核心。4.3 成本优化的三个实操技巧第一个技巧是信用分配缓存。Agentic 任务里有很多重复的子轨迹比如调用搜索工具 - 解析结果 - 调用计算器这个模式可能在多条轨迹里出现。把信用分配的结果按子轨迹哈希缓存起来命中率能到 30% 到 40%直接省掉这部分计算。我实测过缓存命中率 35% 时信用分配成本下降 28%。第二个技巧是动态精度。PRM 打分不需要全精度推理用 FP16 甚至 INT8 量化后精度损失在 2% 以内但速度提升 2 到 3 倍。MCTS 展开的价值估计也可以用低精度只有最终决策的那一步用全精度。这个技巧在直播里可能没细讲但它是成本透明化之后最直接的优化手段。第三个技巧是采样预算动态分配。不是所有轨迹都值得完整采样对于明显失败的轨迹比如第一步就调用不存在的工具提前终止采样把预算留给有希望的轨迹。这个技巧需要和信用分配联动信用分配模型可以提前预测轨迹的成功概率低于阈值的直接截断。MiMo-V2.6 直播里如果展示了成本透明化这个动态分配策略应该是亮点之一。注意动态截断会引入采样偏差因为被截断的轨迹不是随机缺失的而是低质量轨迹。解决办法是在训练时给截断轨迹一个小的负奖励而不是完全丢弃这样策略能学到避免早期错误的信号。5. 常见问题与排查技巧实录5.1 异步 RL 训练不收敛的排查路径异步 RL 最常见的症状是训练曲线震荡或者直接发散。排查顺序我一般按这个来先看策略滞后指标如果新旧策略的 KL 散度持续大于 0.05说明回放池的数据太旧需要减小队列深度或者提高训练频率。再看重要性采样权重如果权重方差过大超过 10说明新旧策略分布差异太大需要降低学习率或者增大 KL 裁剪阈值。最后看回放池命中率如果最新版本数据的命中率低于 50%说明采样速度跟不上训练速度需要增加采样进程或者减少训练 batch size。我踩过的一个坑是采样进程和训练进程共用 GPU结果两边抢显存采样速度被拖慢策略滞后反而更严重。后来改成采样和训练分卡部署采样用推理卡训练用训练卡问题才解决。这个坑在单卡环境里不明显多卡环境里很常见。5.2 信用分配失效的典型表现信用分配失效的表现比较隐蔽训练曲线可能看起来正常但策略学到的行为很怪。典型表现有三个中间步骤奖励和最终奖励负相关、策略倾向于走短路径但成功率低、PRM 打分和人工评估偏差大。第一个表现说明信用分配把中间步骤的信用算反了通常是 PRM 训练数据有偏第二个表现说明信用分配过度惩罚长路径折扣因子设得太小第三个表现说明 PRM 需要重新校准。排查方法是抽样人工评估从训练轨迹里随机抽 50 条人工标每一步的好坏和 PRM 打分对比。如果一致率低于 70%PRM 就需要重新训练。这个排查我建议每训练 200 轮做一次成本不高但能提前发现问题。5.3 成本超预算的应急方案成本超预算在 Agentic RL 里很常见因为轨迹长度方差大预算估算容易偏。应急方案按优先级排第一降低 MCTS 展开宽度从 5 降到 3成本直接降 40%精度损失在可接受范围内第二提高信用分配缓存命中率把缓存粒度从完整轨迹降到子轨迹命中率能提升 15% 到 20%第三动态截断低质量轨迹把采样预算集中在有希望的轨迹上第四降低 PRM 推理精度FP16 换 INT8速度提升 2 倍以上。这四个方案我按性价比排的前两个几乎无精度损失后两个有轻微损失但可控。MiMo-V2.6 直播里如果展示了成本透明化这些应急方案应该是配套内容可惜直播时间有限不一定能展开讲。问题症状可能原因排查方法解决方案训练曲线震荡策略滞后严重监控 KL 散度减小队列深度策略行为怪异信用分配失效人工抽样对比重新校准 PRM成本超预算轨迹长度方差大统计轨迹长度分布动态截断 缓存吞吐上不去采样训练抢资源监控 GPU 利用率分卡部署PRM 打分偏差大PRM 过时相关性分析定期重新训练这张表是我自己整理的速查表覆盖了 Agentic RL 里 80% 的常见问题。MiMo-V2.6 直播里提到的成本透明化本质上就是让你能提前看到这些问题而不是等训练崩了才发现。6. 我个人的一些实操体会异步 RL 和 Agentic 信用分配这两个东西单独看都不难难的是把它们结合起来。异步架构会放大信用分配的误差因为旧策略采的数据用新策略的信用分配模型打分偏差是叠加的。我的经验是异步 RL 里的信用分配模型更新频率要比策略更新频率高比如策略每更新 10 轮信用分配模型至少更新 15 轮这样才能跟上策略的变化。成本透明化这件事我觉得比算法本身更重要。Agentic RL 的训练成本是传统 RL 的 10 倍以上如果不把账算清楚根本没法持续迭代。MiMo-V2.6 直播把成本摊开讲这个方向是对的。我自己的做法是每轮训练都记录采样成本、信用分配成本、策略更新成本三个指标画成曲线一旦某个指标异常上升立刻排查。这个习惯帮我省了至少 30% 的算力预算。最后分享一个小技巧Agentic 任务的轨迹里工具调用的成功率是一个很好的信用分配代理指标。工具调用成功且结果被后续步骤使用这条子轨迹的信用大概率是正的工具调用失败或结果被忽略信用大概率是负的。用这个指标做预筛选能把 PRM 的推理量减少 40% 左右精度损失很小。这个技巧我在多个项目里验证过效果稳定。
