简介这份资源面向希望掌握模型量化加速的深度学习开发者与算法工程师围绕Pytorch与TVM两大工具链系统演示低精度与混合精度下的量化感知训练QAT完整实现路径帮助解决模型在边缘设备上推理慢、内存占用高的问题。压缩包共约2000个文件整体约7.06MB以1080个Python脚本为核心辅以384个C头文件、118个C源文件、98个Shell脚本及若干Rust、Java、Go、Markdown与配置文件覆盖训练、编译、部署各环节。内容从数据预处理、模型构建、量化配置、QAT训练到借助TVM完成计算图优化、量化编译与跨平台部署并包含混合精度策略的实践细节。已有272人学习下载适合具备一定Pytorch基础、想深入量化与编译优化的读者可据此理解量化核心概念、掌握TVM工具链用法为构建高效节能的推理应用积累可复用的工程经验。1. 量化加速这件事为什么绕不开 PyTorch 加 TVM 这条组合路线模型精度掉一个点推理速度翻三倍这种账在端侧和边缘设备上天天有人算。你手上如果有一个 PyTorch 训好的模型想把它压到 INT8 甚至更低同时又不希望精度崩掉那「量化感知训练 编译加速」就是绕不过去的两道坎。量化感知训练QAT负责在训练阶段就把量化误差模拟进去让权重提前适应低精度TVM 负责把训好的模型编译成目标硬件上的高效算子。单用 PyTorch 的torch.quantization能做 QAT但部署到非 x86 平台时算子覆盖和调度往往不够看单用 TVM 做训练后量化PTQ精度又容易在敏感层上翻车。把两者接起来用 PyTorch 做低精度与混合精度的感知训练再交给 TVM 编译落地是目前工业界比较稳的一条路径。这篇面向的是已经会用 PyTorch 训模型、想进一步把推理成本压下来的工程师从环境搭建一路讲到混合精度策略和编译排错。2. 把 PyTorch 量化感知训练的环境先搭稳2.1 为什么 QAT 的环境比普通训练更挑普通训练只要 PyTorch 能跑就行QAT 不一样。它要在前向里插入伪量化节点FakeQuantize这些节点对算子融合、后端支持有要求。如果你用的是torch.ao.quantization这套新 APIPyTorch 版本最好在 1.13 以上低版本里torch.quantization和torch.ao.quantization混用会出各种 import 报错。CUDA 版本要和 PyTorch 编译时的 CUDA 对齐否则伪量化节点在 GPU 上跑会静默回退到 CPU速度反而更慢。我一般会先确认三件事PyTorch 版本、CUDA 版本、以及目标部署平台是不是 x86。如果是 ARM 或者国产加速卡TVM 那边的 target 配置要提前想好别等训完才发现编译不过。环境搭建这块conda 建独立环境是最省心的做法避免和系统里的 PyTorch 打架。装的时候用官方 index 指定 CUDA 版本别用默认的 CPU 包。# 建一个独立环境Python 3.9 对 TVM 和 PyTorch 兼容性都比较好 conda create -n qat_tvm python3.9 -y conda activate qat_tvm # 装 PyTorchcu118 对应 CUDA 11.8按自己驱动改 pip install torch2.1.0 torchvision0.16.0 --index-url https://download.pytorch.org/whl/cu118 # 装 TVM这里用官方发布的 wheel避免自己编译 LLVM 的坑 pip install apache-tvm0.14.dev0 # 验证 python -c import torch; print(torch.__version__, torch.cuda.is_available()) python -c import tvm; print(tvm.__version__)这段命令的逻辑是先隔离环境再按 CUDA 版本装 PyTorch最后装 TVM。参数上要注意--index-url必须指向对应 CUDA 版本的 whl 源写错会装成 CPU 版torch.cuda.is_available()返回 False 就是装错了。TVM 的版本号带dev是正常的官方 wheel 就是这么标的不用纠结。如果import tvm报找不到 libtvm多半是 wheel 和系统 glibc 不匹配换一个 TVM 版本或者用源码编译。2.2 用最小模型跑通 QAT 的完整流程环境好了之后别急着上大模型先用一个两层卷积的小网络把 QAT 流程跑通。QAT 的核心是三步准备模型指定 qconfig、训练时插入伪量化、最后转换convert成量化模型。很多人卡在 convert 这一步报错其实多半是 qconfig 和模型结构不匹配。import torch import torch.nn as nn from torch.ao.quantization import get_default_qat_qconfig, prepare_qat, convert # 一个极简的卷积网络用来验证流程 class TinyNet(nn.Module): def __init__(self): super().__init__() self.conv nn.Conv2d(3, 8, 3, padding1) self.relu nn.ReLU() self.pool nn.AdaptiveAvgPool2d(1) self.fc nn.Linear(8, 10) def forward(self, x): x self.relu(self.conv(x)) x self.pool(x).flatten(1) return self.fc(x) model TinyNet() model.train() # 关键指定 QAT 的 qconfig这里用默认的 fbgemm 后端 model.qconfig get_default_qat_qconfig(fbgemm) # prepare_qat 会插入伪量化节点必须在 train 模式下调用 model_prepared prepare_qat(model, inplaceFalse) # 正常训练几轮这里用随机数据模拟 optimizer torch.optim.SGD(model_prepared.parameters(), lr0.01) for step in range(5): x torch.randn(4, 3, 32, 32) y torch.randint(0, 10, (4,)) optimizer.zero_grad() loss nn.functional.cross_entropy(model_prepared(x), y) loss.backward() optimizer.step() # 转换前必须 eval否则伪量化节点的统计量不对 model_prepared.eval() model_int8 convert(model_prepared, inplaceFalse) print(model_int8)逻辑说明get_default_qat_qconfig(fbgemm)决定了权重量化和激活量化的观察器类型fbgemm 是 x86 后端ARM 上要换成qnnpack。prepare_qat必须在train()模式下调用因为它要插入伪量化节点并让观察器开始统计。训练完convert之前一定要eval()这一步是血泪经验忘了 eval 会导致 BatchNorm 统计量错乱量化后精度直接崩。参数上inplaceFalse是为了保留原模型方便对比实际部署可以设 True 省内存。跑通这个最小例子之后你就能确认环境、API、流程都没问题再往真实模型上套。3. 低精度与混合精度哪些层该压哪些层不能碰3.1 低精度量化的数值边界在哪INT8 是当前最成熟的低精度方案权重和激活都压到 8 位理论上有 4 倍的内存收益和 2 到 4 倍的速度收益。但 INT8 不是万能的它的数值范围是 -128 到 127对于激活值动态范围很大的层比如某些注意力模块的输出直接量化会丢很多信息。更低精度的 INT4 甚至二值化收益更大但精度风险也更高一般只在权重上做激活还是保持 INT8 或 FP16。判断一个层能不能压我一般看两个指标权重的数值分布是否集中激活的 max 值是否稳定。分布集中、max 稳定的层量化损失小分布长尾、max 波动大的层要么跳过要么用 per-channel 量化。混合精度的本质就是给不同层配不同的量化策略。PyTorch 的 QAT 支持通过qconfig_dict给特定层指定 qconfig或者直接排除某些层不量化。# 给不同层配不同 qconfig 的混合精度方案 from torch.ao.quantization import get_default_qat_qconfig import torch.nn as nn qconfig_fbgemm get_default_qat_qconfig(fbgemm) # 用 qconfig_dict 精细控制第一层和最后一层不量化 qconfig_dict { : qconfig_fbgemm, # 默认全部用 fbgemm conv1: None, # 第一层跳过量化 fc: None, # 分类头跳过量化 } # 也可以按模块类型排除 qconfig_dict_by_type { : qconfig_fbgemm, nn.Conv2d: qconfig_fbgemm, nn.Linear: None, # 所有全连接层不量化 }逻辑说明qconfig_dict的 key 是模块的限定名空字符串代表默认配置值为 None 表示该层不量化。参数上要注意跳过量化的层在convert后仍然是 FP32部署时这部分会拖慢整体速度所以跳过的层要尽量少。常见做法是只跳过第一层输入量化损失大和最后一层输出精度敏感中间层全量化。如果某个中间层量化后精度掉得厉害再单独把它加进排除列表。3.2 混合精度策略怎么定从敏感度分析开始拍脑袋决定哪些层量化、哪些层不量化是新手最容易翻车的地方。靠谱的做法是先做敏感度分析逐层量化看精度掉多少掉得多的层就保留高精度。这个流程可以脚本化。def sensitivity_analysis(model, calib_loader, eval_fn): 逐层量化记录精度变化 base_acc eval_fn(model) results {} for name, module in model.named_modules(): if not isinstance(module, (nn.Conv2d, nn.Linear)): continue # 只量化当前这一层其余保持 FP32 qconfig_dict {: None, name: get_default_qat_qconfig(fbgemm)} # 这里省略 prepare/convert 的调用实际按 2.2 的流程走 # 记录量化后精度 results[name] base_acc - eval_fn(quantized_model) # 按精度损失排序损失大的层优先保留高精度 return sorted(results.items(), keylambda x: x[1], reverseTrue)逻辑说明这个函数对每个可量化层单独做一次量化记录精度损失。参数上calib_loader是校准数据集不用太大几百张就够但要覆盖真实分布。eval_fn是评估函数返回精度指标。实际跑的时候逐层量化会很慢可以只对候选层做比如所有卷积层和全连接层。得到敏感度排序后把损失最大的前 10% 到 20% 的层保留 FP32其余量化这就是一个合理的混合精度配置。注意敏感度分析本身有随机性最好跑两三次取平均别被单次波动误导。4. 把 PyTorch 量化模型交给 TVM 编译4.1 从 PyTorch 到 TVM 的模型转换路径PyTorch 训好的量化模型不能直接喂给 TVM中间要经过 ONNX 或者 Relay 前端。常见做法是先把 PyTorch 模型导出成 ONNX再用 TVM 的 ONNX 前端导入。但量化模型导出 ONNX 有个坑PyTorch 的伪量化节点在导出时会变成 QuantizeLinear 和 DequantizeLinear 算子TVM 对这两个算子的支持程度取决于版本。如果 TVM 版本较老可能识别不了这时候要么升级 TVM要么在导出前把伪量化节点折叠掉。import torch # 导出量化后的模型到 ONNX model_int8.eval() dummy_input torch.randn(1, 3, 32, 32) torch.onnx.export( model_int8, dummy_input, quantized_model.onnx, opset_version13, # 13 以上对量化算子支持更好 input_names[input], output_names[output], dynamic_axes{input: {0: batch}}, )逻辑说明opset_version建议用 13 或更高低版本对 QDQQuantizeLinear/DequantizeLinear的支持不完整。dynamic_axes指定 batch 维度动态方便部署时变 batch。导出后可以用onnxruntime先验证一下 ONNX 模型能不能跑通别直接扔给 TVM不然报错信息很难定位。如果导出报错说某个算子不支持多半是伪量化节点的位置不对检查一下prepare_qat之后有没有做算子融合。4.2 TVM 编译量化模型的关键配置TVM 编译 ONNX 模型核心是 target 和 relay 的 build 配置。target 决定生成什么硬件的代码x86 用llvmARM 用llvm -mtripleaarch64-linux-gnuGPU 用cuda或opencl。量化模型还要注意 TVM 的relay前端是否开启了量化相关的 pass。import tvm from tvm import relay # 加载 ONNX 模型 onnx_model onnx.load(quantized_model.onnx) mod, params relay.frontend.from_onnx(onnx_model, shape{input: (1, 3, 32, 32)}) # 指定目标硬件这里以 x86 为例 target tvm.target.Target(llvm, hostllvm) # 编译配置开启量化相关的优化 with tvm.transform.PassContext(opt_level3): lib relay.build(mod, targettarget, paramsparams) # 保存编译产物 lib.export_library(quantized_model_tvm.so)逻辑说明from_onnx的shape参数要和导出时的输入形状一致动态 batch 的话这里写tvm.tir.Any()。opt_level3开启最高级别优化包括算子融合和常量折叠。export_library生成的是动态库部署时用 TVM runtime 加载。参数上要注意如果目标平台是 ARMtarget要写成llvm -mtripleaarch64-linux-gnu -mattrneon并且交叉编译工具链要配好。编译报错的话先看是不是某个量化算子在 relay 里没有对应的实现这种情况要么换 TVM 版本要么在 PyTorch 侧把那个算子替换掉。5. 避坑与排查量化加 TVM 这条路上最容易翻车的几个点5.1 精度掉得莫名其妙先查这三处现象QAT 训练时精度正常convert 之后精度掉十几个点。原因最常见的是 convert 前忘了eval()导致 BatchNorm 的 running stats 没冻结其次是 qconfig 里的观察器类型和部署后端不匹配比如用 fbgemm 训的模型部署到 ARM 上第三是校准数据集分布和真实数据差太远观察器统计的 min/max 不准。解决convert 前强制model.eval()qconfig 按部署平台选校准集至少几百张且覆盖真实场景。5.2 TVM 编译报算子不支持现象relay.build时报某个算子没有实现或者from_onnx直接失败。原因PyTorch 导出的 ONNX 里有些算子 TVM 前端不支持尤其是自定义算子或者较新的量化算子。解决先用onnxruntime验证 ONNX 模型确认是导出问题还是 TVM 问题如果是 TVM 不支持尝试升级 TVM 版本或者用relay.frontend.from_pytorch直接从前端导入绕过 ONNX。5.3 混合精度配置后速度没提升现象做了混合精度精度保住了但推理速度和不做量化差不多。原因跳过量化的层太多或者跳过的层正好是计算量最大的层导致整体还是 FP32 在跑。解决用 profiler 看每层的耗时占比跳过的层应该是计算量小但精度敏感的层比如第一层和最后一层。如果中间某个大卷积层被跳过速度肯定上不去这时候要考虑用 per-channel 量化而不是直接跳过。5.4 部署到目标硬件后结果对不上现象TVM 编译的模型在 x86 上跑正常部署到 ARM 或加速卡上结果偏差很大。原因不同硬件的浮点运算顺序和舍入方式不同量化模型对这点特别敏感。解决在目标硬件上重新做一遍校准或者用 TVM 的 autotuning 针对目标硬件调优。如果偏差还是大检查是不是某个算子在目标硬件上用了近似实现。5.5 QAT 训练不收敛现象插入伪量化节点后loss 震荡或者不下降。原因伪量化节点引入的噪声太大学习率没相应调小或者 qconfig 的观察器在训练初期统计不准。解决QAT 的学习率一般比正常训练小一个数量级并且前几个 epoch 可以冻结观察器等统计稳定后再放开。另外QAT 最好从预训练好的 FP32 模型开始别从头训。6. 一个能直接抄的混合精度 QAT 加 TVM 编译脚本骨架把前面几章的东西串起来我给一个可以直接改吧改吧就用的脚本骨架。这个骨架覆盖了从模型准备、敏感度分析、混合精度 QAT 训练、到 TVM 编译的完整链路你只需要把模型和数据集替换成自己的。import torch import torch.nn as nn import onnx import tvm from tvm import relay from torch.ao.quantization import get_default_qat_qconfig, prepare_qat, convert def build_qconfig_dict(model, sensitive_layers): 根据敏感层列表生成混合精度 qconfig_dict base get_default_qat_qconfig(fbgemm) qconfig_dict {: base} for name in sensitive_layers: qconfig_dict[name] None # 敏感层保留 FP32 return qconfig_dict def qat_train(model, train_loader, qconfig_dict, epochs3): 混合精度 QAT 训练 model.train() model.qconfig get_default_qat_qconfig(fbgemm) # 注意qconfig_dict 的精细控制需要走 torch.ao.quantization 的 prepare_qat 接口 model_prepared prepare_qat(model, inplaceFalse) optimizer torch.optim.SGD(model_prepared.parameters(), lr0.001, momentum0.9) criterion nn.CrossEntropyLoss() for epoch in range(epochs): for x, y in train_loader: optimizer.zero_grad() loss criterion(model_prepared(x), y) loss.backward() optimizer.step() model_prepared.eval() return convert(model_prepared, inplaceFalse) def export_and_compile(model_int8, input_shape, target_str, out_path): 导出 ONNX 并用 TVM 编译 model_int8.eval() dummy torch.randn(*input_shape) torch.onnx.export(model_int8, dummy, tmp.onnx, opset_version13) onnx_model onnx.load(tmp.onnx) mod, params relay.frontend.from_onnx(onnx_model, shape{input: input_shape}) target tvm.target.Target(target_str, hostllvm) with tvm.transform.PassContext(opt_level3): lib relay.build(mod, targettarget, paramsparams) lib.export_library(out_path) print(fcompiled to {out_path}) # 使用示例 # sensitive [conv1, fc] # 敏感度分析得到的层 # qconfig_dict build_qconfig_dict(model, sensitive) # model_int8 qat_train(model, train_loader, qconfig_dict) # export_and_compile(model_int8, (1, 3, 32, 32), llvm, model.so)逻辑说明build_qconfig_dict把敏感层设为 None其余用 fbgemm 配置。qat_train里学习率设成 0.001比正常训练小这是 QAT 的常规操作。export_and_compile把导出和编译串起来target_str 按部署平台填。参数上要注意input_shape必须和导出时一致target_str写错会导致编译出的库在目标平台上跑不了。这个骨架里敏感层列表是手动传的实际用的时候先跑一遍第 3 章的敏感度分析脚本把结果填进去。最后说个我自己的习惯每次改完 qconfig 或者 target我都会先在一个小模型上跑通全流程确认精度和编译都没问题再上真实模型。量化这条路上玄学不多大部分翻车都是配置没对齐或者忘了 eval。把最小闭环跑顺了剩下的就是耐心调参。希望帮到你。本文还有配套的精品资源点击获取
