FastGen与DMD2蒸馏Model Optimizer让文生图模型4步出高清图【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer文生图模型出图快不快瓶颈往往不在显卡而在采样步数——传统扩散模型要跑几十上百步去噪才能生成一张图。而 Model Optimizer 提供的FastGen 加速库通过DMD2 蒸馏把 Qwen-Image 等文生图模型的采样步数直接压到4 步甚至 1 步出图速度提升数十倍且画质几乎无损。本文带你快速上手这套方案。为什么文生图模型这么慢扩散模型Diffusion的生成过程是从纯噪声一步步去噪成图像。为保证细节质量推理时通常需要 30~50 步甚至上百步每一步都要完整前向一次大 Transformer这就是出图慢的根源。DMD2Distribution Matching Distillation分布匹配蒸馏的思路是不去逐步模仿教师的每一步去噪而是让学生网络一次性学会教师最终输出的整体分布。这样学生推理时只需要 1~4 步就能直接落到高质量图像上。DMD2 蒸馏原理三网协同训练DMD2 同时训练三个网络各司其职网络角色一句话解释Student学生你最终保留的少步生成器学会用 1~4 步直接出图Fake-score假评分网络跟踪学生当前输出分布负责反向推力Teacher教师冻结的原始 Qwen-Image 模型代表目标分布训练时按student_update_freq交替两个阶段每隔 5 步 fake-score 更新才更新 1 次学生分布匹配损失 可选 GAN 损失其余步骤则让 fake-score 去追平学生的当前分布。分布匹配梯度会把学生推向教师、拉离假评分网络最终学生的输出分布逼近教师。规范配置还会叠加两个画质增强器CFG无分类器引导给教师加 guidance_scale默认 4.0让学生学到被引导后的更优分布GAN 分支在教师第 30 个 Transformer Block 上挂判别器头配 R1 梯度惩罚让图像细节更锐利。FastGen 库源码结构一览DMD2 的全部数学逻辑都实现在modelopt/torch/fastgen/中结构非常清晰模块作用config.pyDMDConfig/DistillationConfig等 Pydantic 配置类支持从 YAML 加载methods/dmd.pyDMD2 核心学生损失、fake-score 损失、判别器损失pipeline.pyDistillationPipeline基类持有 student/teacher 引用并冻结教师plugins/qwen_image.pyQwen-Image 专用插件2×2 patch packing、img_shapesema.py / discriminators.py学生 EMA 权重跟踪 / GAN 判别器实现配套资源内置蒸馏配方modelopt_recipes/general/distillation/dmd2_qwen_image.yaml完整示例与文档examples/diffusers/fastgen/README.md蒸馏 API 指南docs/source/guides/4_distillation.rst三步训练你的 4 步学生模型 ️整个训练流程收敛在 examples/diffusers/fastgen/ 目录下分三步1️⃣ 构建训练数据缓存用官方预处理脚本把原始图像转成Qwen-Image VAE 潜变量 文本嵌入的缓存避免训练时重复编码python examples/diffusers/fastgen/preprocess_qwen_image.py image \ --image_dir 原始图像目录 --output_dir 缓存目录 --processor qwen_image同时生成 CFG 所需的负提示嵌入一次性python examples/diffusers/fastgen/make_negative_prompt_embedding.py \ --output 缓存目录/negative_prompt_embedding.pt2️⃣ 启动多卡训练使用规范配置 configs/dmd2_qwen_image.yaml4 步学生 CFG GAN 分支以 8 卡为例torchrun --nproc-per-node8 \ examples/diffusers/fastgen/dmd2_finetune.py \ --config examples/diffusers/fastgen/configs/dmd2_qwen_image.yaml \ --step_scheduler.max_steps5000所有 DMD2 参数都支持命令行覆盖例如--dmd2.guidance_scale3.5、--fsdp.dp_size16显存不够时加卡或开启--fsdp.activation_checkpointingtrue。3️⃣ 断点续训检查点会完整保存学生、fake-score、EMA 影子权重和迭代计数器设置restore_from: LATEST后重启即自动从最新检查点恢复无需手动处理。关键配置速查表 ⚙️配置项默认值说明student_sample_steps4学生推理步数改成 1 即单步学生t_list[0.999, 0.74925, 0.4995, 0.24975, 0.0]4 步的时间步调度与推理采样点严格对齐guidance_scale4.0教师 CFG 强度设为 null 可关闭student_update_freq51 次学生更新 : N 次 fake-score/判别器更新gan_loss_weight_gen0.03GAN 生成器权重设 0 关闭 GAN 分支ema.decay0.9999学生 EMA 衰减系数4 步推理训练完如何出图 训练结束后用 inference_dmd2_qwen_image.py 加载整合版学生 Transformer 基础 VAE/文本编码器接口与 diffusers 风格一致pipe QwenImageDMDInferencePipeline.from_pretrained( student_path/path/to/checkpoint/.../model/consolidated, base_pipeline_pathQwen/Qwen-Image, ) image pipe(prompta small red cube on a white table, num_inference_steps4).images[0] # 与训练步数一致几个实用技巧num_inference_steps必须等于训练时的student_sample_steps4 步学生就填 4想验证 EMA 权重效果把ema_path指向检查点里的ema_shadow.pt也可以直接跑命令行 CLIpython examples/diffusers/fastgen/inference_dmd2_qwen_image.py --student_path ... --prompt ...。常见问题 FAQ 问题原因与解决CUDA 显存不足训练要同时持有学生教师fake-score 三个 Transformer增加 GPU 数--fsdp.dp_size或开启激活检查点第 0 步 loss 变 NaN几乎总是时间步越界别把dmd2.pred_type改成flow以外Qwen-Image 是 rectified-flow 模型也不要改动时间步调度报CFG 缺少负提示嵌入设置negative_prompt_embedding_path或把guidance_scale设为 null 关闭 CFGDataloader 空批次缓存样本数需 ≥local_batch_size × dp_size分布式采样器会丢弃不完整批次还能叠加哪些加速DMD2 蒸馏解决的是步数问题Model Optimizer 还能同时解决精度与显存问题量化FP8 / INT8 / NVFP4 量化推理见 examples/diffusers/quantization/缓存扩散Cache Diffusion利用相邻步特征相似性跳过重复计算见 examples/diffusers/cache_diffusion/蒸馏后的学生模型同样可以量化部署到 TensorRT-LLM、TensorRT 等推理框架。少步蒸馏 × 低比特量化组合拳正是生产级文生图推理加速的完整答案。总结FastGenmodelopt/torch/fastgen/把 DMD2 蒸馏的完整实现打包成开箱即用的库 配方训练只需预处理数据 → 一条 torchrun 命令examples/diffusers/fastgen/ 提供了端到端示例最终产物是一个4 步甚至 1 步出图的文生图学生模型配合量化与缓存加速推理成本可下降一个数量级。上手路径建议先通读 examples/diffusers/fastgen/README.md跑通推理 CLI 感受 4 步出图效果再按上文配置启动自己的蒸馏训练。【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
