MiMo-V2.6-Pro-RL SGLang多节点部署TP16/EP16/DP2DeepEP高性能推理实战参数逐个讲透【免费下载链接】MiMo-V2.6-Pro-RLMiMo-V2.6-Pro-RL 是 MiMo-V2.6 系列的旗舰检查点。该系列旨在通过强化学习RL实现自我改进的规模化——同时扩展 RL 计算资源、环境多样性以及评分器grader计算能力使模型能够通过探索和反馈持续拓展其能力边界。项目地址: https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-RLMiMo-V2.6-Pro-RL 是小米 MiMo-V2.6 系列的旗舰多模态大模型总参数 1.02T、激活 42B原生支持文本/图像/视频/音频与 1M 超长上下文。本文给出它的 SGLang 多节点部署完整方案TP16/DP2/EP16 DeepEP 高性能推理配置并逐个讲透每个启动参数的含义、取值依据与调优思路帮助你在 2 台 8 卡 GPU 机器上快速跑起低延迟服务 一、模型规格速览为什么必须多节点部署在动手之前先理解模型的体量才能明白并行参数为什么这样设计。核心规格见 config.json维度数值对部署的影响架构稀疏 MoE384 路由专家 / 每 token 激活 8 个专家参数分散存放 → 需要 EP专家并行参数量1.02T 总 / 42B 激活单卡装不下 → 需要 TP 切片量化FP8 动态激活 MXFP4 权重存储显存占用约为 BF16 的 1/3上下文1M tokensmax_position_embeddingsKV Cache 压力大 → 需要大页与 SWA 策略层结构70 层60 层 SWA 10 层全局注意力滑窗注意力显著降低长文 KV 成本投机解码5 层 MTP 草稿模型DFlash 风格每步可并行验证多个 token加速 decode 专家并行度直接体现在权重文件命名上model_pp0_ep0_shard0.safetensors~model_pp0_ep127_shard0.safetensors共 128 个 EP 分片详见 model.safetensors.index.json。推理命令里的--ep 16会把每卡 24 个专家384÷16均匀分到 16 张 GPU 上。另外仓库根目录的 model_mtp.safetensors 是 MTP 投机解码草稿模型权重dflash/ 目录dflash/config.json、dflash/dflash.py则定义了 5 层 SWA 草稿层、窗口 1024、锚点数 4096是理解第四部分投机解码参数的底稿。二、部署前准备硬件、镜像与权重硬件需求项目要求GPU2 台机器 × 8 张高显存 GPU共 16 卡对应--tp 16网络双机间 RDMA/高速互联DeepEP 依赖低延迟 all-to-all 通信系统Linux NVIDIA 驱动 CUDA拉取权重如果本地仓库权重不完整大文件通过 Git LFS 管理克隆完整仓库git clone https://gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-RL镜像使用官方推荐镜像README 第 5 节 README.mddocker pull lmsysorg/sglang:latest 模型自带 chat_template.jinja、tokenizer_config.json 与 preprocessor_config.jsonSGLang 通过--trust-remote-code加载 configuration_mimo_v2.py 与 modeling_mimo_v2.py 中的原生实现无需额外改代码。三、SGLang 多节点启动命令完整可复制两台机器分别执行同一条命令仅--node-rank不同0 号机填 01 号机填 1sglang serve \ --trust-remote-code \ --model-path XiaomiMiMo/MiMo-V2.6-Pro-RL \ --tp 16 \ --dp 2 \ --enable-dp-attention \ --mm-enable-dp-encoder \ --ep 16 \ --moe-a2a-backend deepep \ --moe-dense-tp-size 1 \ --mem-fraction-static 0.7 \ --max-running-requests 128 \ --chunked-prefill-size 32768 \ --page-size 64 \ --swa-full-tokens-ratio 0.3 \ --speculative-algorithm EAGLE \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --enable-multi-layer-eagle \ --reasoning-parser mimo \ --tool-call-parser mimo \ --host 0.0.0.0 \ --port 30000 \ --nnodes 2 \ --node-rank node-rank \ --dist-init-addr node0-ip:20000四、参数逐个讲透1️⃣ 并行策略TP16 / DP2 / EP16 如何分工参数含义--tp 16张量并行跨 16 卡注意力 QKV/O 投影、Embedding 等稠密部分按列/行切分到 16 张 GPU是装下模型的基本盘--ep 16专家并行MoE 的 384 个专家切到 16 卡每卡 24 个。MoE 模型推理时专家权重是显存大头EP 让每卡只驻留 1/16 的专家比纯 TP 省显存--dp 2数据并行把请求池切成 2 份并发处理等效于吞吐翻倍适合多用户在线服务--enable-dp-attention注意力按 DP 切分不同请求的 KV 落在不同卡上避免 DP 间注意力同步开销是 MoE 长上下文场景的推荐组合--mm-enable-dp-encoder多模态编码器视觉/音频也做数据并行图像/音频预处理不成为瓶颈--moe-dense-tp-size 1稠密层如首层 dense FFN不参与额外 TP 切分配合 TP16 保持切分粒度对齐减少通信记忆口诀TP 管装得下EP 管专家省显存DP 管吞吐翻倍。2️⃣ DeepEPMoE 推理的通信引擎参数含义--moe-a2a-backend deepepMoE 的 all-to-all 通信token 路由到专家所在卡再送回使用 DeepEP 后端。它针对 MoE 场景优化了跨机通信效率是 EP16 跨 2 台机器时保持低延迟的关键直接决定 decode 阶段速度⚠️ 若两台机器间没有 RDMA/高速网络DeepEP 收益会大打折扣decode 延迟会明显上升——这是多节点部署最常见的坑。3️⃣ 显存与吞吐参数参数含义--mem-fraction-static 0.7静态显存权重 预分配 KV 池占用上限的 70%预留余量给激活与通信缓冲避免 OOM--max-running-requests 128并发运行请求上限 128按显存与目标延迟权衡压测不够可上调--chunked-prefill-size 32768Prefill 按 32K token 分块执行长上下文请求切块计算避免单请求霸占调度、拖慢其他请求的 decode--page-size 64PagedAttention 的 KV 块大小为 64大块减少页表开销适合长上下文--swa-full-tokens-ratio 0.3SWA/GA 混合注意力的 KV 配比60 层滑窗 10 层全局注意力见 config.json 的 70 层结构与hybrid_layer_pattern该比例控制两类 KV 池分配直接影响 1M 上下文的 KV 成本4️⃣ 投机解码MTP EAGLE 加速 decodeMiMo-V2.6-Pro-RL 内置 5 层 SWA MTP 草稿层model_mtp.safetensors结构见 dflash/config.json 中target_layer_ids: [0, 15, 31, 47, 69]的跨层锚定设计一次前向可预测后续多个 token 供主模型并行验证参数含义--speculative-algorithm EAGLE使用 EAGLE 投机解码框架驱动草稿模型--speculative-num-steps 3每轮最多展开 3 步草稿链--speculative-eagle-topk 1每步只保留 1 条草稿路径贪心链与推荐采样策略匹配--speculative-num-draft-tokens 4每轮共草拟 4 个 token 交给主模型一次验证命中率与加速比的平衡点--enable-multi-layer-eagle启用多层 EAGLE利用 MTP 的全部 5 层草稿层而非单层联合预测是官方配方里提升接受率的核心开关 这套组合让 decode 阶段一次验证多个 token在 Agent 长输出、代码生成场景下可显著降低延迟。5️⃣ 解析器与网络参数含义--trust-remote-code信任仓库内自带的configuration_mimo_v2.py/modeling_mimo_v2.py自定义实现--reasoning-parser mimo按 MiMo 约定解析思维链reasoning与正文返回结构化字段--tool-call-parser mimo解析工具调用function call块Agent 场景必备--host 0.0.0.0 --port 30000服务监听地址与 OpenAI 兼容 API 端口--nnodes 2集群共 2 个节点--node-rank node-rank本机编号0 号机填 01 号机填 1--dist-init-addr node0-ip:20000分布式 rendezvous 地址填 0 号机 IP两机互通五、启动验证与调优建议服务就绪后用 OpenAI 兼容接口做冒烟测试推荐采样参数temperature1.0, top_p0.95来自 README.md 第 5 节与 generation_config.jsoncurl http://node0-ip:30000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:mimo,messages:[{role:user,content:你好请自我介绍}],temperature:1.0,top_p:0.95}常见调优方向decode 延迟高→ 检查双机网络是否走 RDMA确认 DeepEP 日志无回退到普通 NCCL 路径长上下文 OOM→ 调低--max-running-requests或微调--mem-fraction-static吞吐不足→ 上调--dp配合更多节点或提高--max-running-requests投机解码收益低→ 确认--enable-multi-layer-eagle已生效并核对 dflash/ 草稿权重是否随--model-path一起加载六、小结目标关键参数装下 1.02T MoE 权重--tp 16 --ep 16 --moe-dense-tp-size 1在线服务吞吐--dp 2 --enable-dp-attention --mm-enable-dp-encoder跨机 MoE 通信性能--moe-a2a-backend deepep长上下文 KV 效率--page-size 64 --swa-full-tokens-ratio 0.3 --chunked-prefill-size 32768decode 提速--speculative-algorithm EAGLE 多层 MTP 草稿按照本文的配方两台 8 卡机器即可承载 MiMo-V2.6-Pro-RL 的完整多模态 1M 上下文服务。更多模型细节可查阅仓库内的 MiMo_V2_6_technical_report.pdf 与 README.md音频侧编码器权重位于 audio_tokenizer/ 目录。祝部署顺利【免费下载链接】MiMo-V2.6-Pro-RLMiMo-V2.6-Pro-RL 是 MiMo-V2.6 系列的旗舰检查点。该系列旨在通过强化学习RL实现自我改进的规模化——同时扩展 RL 计算资源、环境多样性以及评分器grader计算能力使模型能够通过探索和反馈持续拓展其能力边界。项目地址: https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-RL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
