大家做目标检测算法落地的人应该都经历过这种尴尬训练集上mAP刷得挺漂亮模型一到边缘设备上就原形毕露——内存超了、帧率上不去、推理延迟动不动就是几百毫秒。这时候你心里会飘过一句话能不能把这个模型变小一点别掉那么多精度于是“剪枝”“模型压缩”这些词就会进入你的搜索框。我给一个很直接的回答剪枝是目前对检测模型最友好的压缩手段之一它不像知识蒸馏那样非要一个更强大的教师网络也不像权重聚类那样偏科更不像换轻量骨干网络那样需要重新调一堆训练参数。你可以在现成的检测模型上做“瘦身”保留大部分精度又肉眼可见地减小模型体积。这篇文章我主要围绕基于剪枝方法的目标检测模型压缩来聊内容会分成几个部分为什么检测模型里有那么多冗余、剪枝算法的分类和选型、检测模型里到底该剪哪里、以及一套以ResNet34为骨干的检测模型剪枝到量化的完整流程。如果你是刚接触模型压缩的算法工程师或者是想把服务端检测模型搬到嵌入式设备的同学这篇应该能帮你少走点弯。1. 检测模型的“虚胖”从哪里来冗余是剪枝的前提1.1 不是所有参数都在干正经活一个目标检测模型很少只有单个网络分支它通常由骨干网络、特征融合层类似FPN、以及一堆检测头组成。以常见的Faster R-CNN或YOLO类结构为例骨干网络要提取基础特征FPN要融合多层特征检测头要输出类别概率、边界框回归参数部分模型还配有RPN或anchor分支。看起来每个部分都有明确任务但从数值上看很多卷积核里的权重都非常小甚至接近零这些通道对最终输出的贡献微乎其微。我自己做过一个简单统计一个在COCO上收敛的检测模型骨干网络里有30%到50%的BatchNorm缩放因子gamma集中在零附近。也就是说这些通道做完卷积、Normalization、激活之后输出几乎不随输入变化它们既不提供有效语义信息也不参与有意义的梯度流动纯粹是占着显存和算力资源。还有一点容易忽略检测模型的冗余不止在骨干网络特征金字塔层和检测头的某些中间层也存在冗余。很多开源预训练模型为了适配多种下游任务骨干部分明显过参数化。剪枝算法要做的事情就是把这些低贡献的通道或权重去掉让模型结构变得更紧凑。1.2 换轻量网络和剪枝哪个更划算每次讲剪枝总有人问既然模型太大为什么不干脆换成MobileNet、ShuffleNet或者更小的ResNet这个思路在纯分类任务里还行但在检测场景里往往会碰一鼻子灰。第一换成轻量网络意味着整个检测模型的骨架特征分布全变了原来调好的anchor尺寸、正负样本分配、损失权重、训练超参都要重新适配。这个工程量有时候比重训一个模型还大。第二轻量网络的特征表达能力在某些检测任务上确实不如大网络。比如小目标检测MobileNet的高层语义信息不如ResNet丰富尤其当你的数据集跟ImageNet分布差别较大时换骨干造成的精度损失往往比剪枝掉10%到20%通道造成的损失要大得多。剪枝则是在你已经训好的模型身上“做减法”它保留模型原有的拓扑结构只是把冗余通道去掉再通过微调把精度拉回来。整个过程可以在已有代码和训练流程上直接改造不需要重新设计网络结构也不需要对训练集做大规模调整。所以我的判断是如果追求最短路径、最小改动剪枝优先于换骨干。当然如果项目刚起步允许从零设计那么直接训练一个轻量检测模型也完全可行。但那是另一条路线了。2. 剪枝算法的核心分类结构化和非结构化到底怎么选2.1 权重级别的“非结构化剪枝”精度损失小但工程收益有限非结构化剪枝通常指的是对卷积核内部的单个权重做置零操作最终形成稀疏矩阵。训练时你可以计算权重的绝对值作为重要性指标把绝对值低于阈值的权重置成零再通过稀疏训练让模型适应这种稀疏性。这类剪枝的理论精度损失通常比结构化剪枝小因为它在最细粒度上保留“信息量”大的权重。但问题也很现实大多数推理框架和硬件对稀疏矩阵支持得并不好。普通卷积算子是按稠密矩阵优化的稀疏矩阵如果不用专门稀疏库计算量一点都不会减少甚至因为要额外编码索引反而更慢。即便你用OpenVINO或TensorRT它们对非结构化稀疏的加速也非常依赖硬件不是所有边缘芯片都能吃下这种稀疏模式。我见过不少新手在PyTorch里做非结构化剪枝剪完模型文件确实变小了但一上板子帧率纹丝不动。原因就是不支持稀疏加速。所以非结构化剪枝更适合科研验证或者你的目标平台恰好支持特定稀疏率下的加速否则不建议在项目里单独使用。2.2 通道级别或结构级别的剪枝删掉一整个维度简单粗暴但高效结构化剪枝则是以卷积核、通道、甚至整个残差模块为单位剪除。以通道剪枝为例它的做法是检查某一行/某一列特征图对应的全部卷积核权重如果这些权重整体贡献太小就删掉当前层里的整个通道同时下一层的对应输入通道也要跟着删掉。由于这种剪枝不改变算子的数据排布剪完后的模型仍然是标准稠密卷积绝大多数框架可以直接加载、直接加速。相比非结构化剪枝结构化剪枝更容易在“体积、延迟、精度”之间取得平衡。对于检测模型这种又大又复杂的网络我一般首推结构化剪枝尤其是通道剪枝。它的粒度适中不会像层剪枝那样粗暴地破坏特征流层次又能实打实减少计算量和参数。当然结构化剪枝也不是没有代价。它需要处理通道对齐问题尤其在ResNet这种带残差结构的模型里残差相加要求前后特征图通道数一致。如果不小心把shortcut分支剪出另一维尺寸模型直接报错。好在大多数剪枝框架比如torch.pruning、nn_pruning或定制脚本都能处理残差对齐后面我会展开讲。2.3 预剪枝和后剪枝从“头歌第6关”说起我注意到网上有些朋友在搜“头歌第6关预剪枝与后剪枝”其实那是机器学习入门课程里讲决策树的内容。预剪枝是在训练过程中提前停止分裂防止过拟合后剪枝是等树完全长完之后再剪掉冗余子树。这个概念搬到深度学习里并没有过时但需要换个姿势理解。在深度学习剪枝里预剪枝可以理解为“训练时施加结构化稀疏约束”比如在loss里加L1正则让某些通道趋向零这样后面剪起来会更容易。后剪枝则是“先训好一个稠密模型再计算通道重要性并裁剪最后微调”。实际工程中我们通常把两者结合起来训练阶段做稀疏化训练完再做基于重要性分数的后剪枝最后微调。这个方法在工业界也被戏称为“train-prune-finetune”三段式属于最稳的剪枝流程。别被术语绕晕你只要记住真正帮你落地的不是剪枝发生在哪个阶段而是你有没有一套稳定的稀疏训练和前向评价机制。3. 目标检测模型里真正该剪的位置别把FPN和检测头一刀切3.1 骨干网络主力冗余区但要注意残差结构我把检测模型看作三段骨干Backbone、颈部Neck、头部Head。这三段对剪枝的敏感度完全不同。骨干网络是参数量和计算量的绝对大头大量的冗余也集中在这里。以ResNet系列为例最后一个stage的特征图通道数最多权重也最密集是剪枝收益最大的位置。但我建议优先剪每一个残差块里的3×3卷积通道而不是上来就动shortcut分支和数据入口层。因为shortcut负责的是恒等映射直接动它会改变整个残差块的输入输出关系影响很大。而3×3卷积含有的冗余最多剪掉一部分通道对特征表达的影响相对较小。在实际剪枝时对ResNet的每个残差块你需要同时剪“主路径”和“shortcut卷积”的通道数否则相加时形状不匹配。一种常用做法是先决定一个残差块主路径的保留通道数再按照同样的保留比例处理shortcut中的1×1卷积通道保持两条分支输出通道一致。3.2 FPN和检测头精度“塌方”高风险区很多人在骨干上剪完觉得很顺利于是顺手把FPN和检测头也按同样比例剪了结果mAP直接掉到不能看。原因在于FPN的通道数本身就不多每个金字塔层可能才256个通道而且它承载的是多尺度特征融合通道间强依赖高剪掉一部分通道后不同尺度的信息融合会发生紊乱尤其是小目标检测任务对FPN的敏感度极高。检测头更特殊。分类分支对通道数有一定冗余容忍度但回归分支负责边界框的精细调整剪太狠可能导致框不准。我的建议是骨干网络可以剪30%到50%FPN剪10%到20%检测头能不剪就不剪最多只剪中间共享层的极少通道输出层永远保持原样。如果你用的是YOLO系列还要注意检测头里有很多“解耦头”分类和回归分离的结构这类结构比老式的全连接头更容易剪出问题。在头部分支剪枝前最好先把每个分支单独做一次通道敏感性统计而不是全局用同一个比例。3.3 anchor和NMS剪枝之外的隐性收益严格说anchor数量、NMS阈值不属于模型参数剪枝但它们和模型压缩后的“加速体验”密切相关。有的检测模型模板生成大量anchor前处理和后处理的耗时可能占整个推理链路的20%以上。当剪枝让网络推理变快后你会发现后处理耗时成了新瓶颈。你可以趁机梳理一下anchor尺寸是不是可以根据数据集重新聚类减少冗余anchor数量NMS是否可以用更高效的实现或者调整IoU阈值减少候选框数量。这些工作配合剪枝项目最终交付的实时性会更漂亮。4. ResNet34检测模型剪枝到量化的完整实操流程4.1 基线训练和稀疏化训练让通道自己“现形”我以一个以ResNet34为骨干的检测模型为例目标平台是一块只有2GB内存的嵌入式板子运行ONNX Runtime。整个流程我会按“基线训练-稀疏训练-通道剪枝-微调-量化”五步走。第一步是正常训练检测模型到收敛作为精度基线。这里不多说关键在第二步稀疏训练。我比较常用的做法是在所有Conv层后面的BatchNorm的gamma值上施加L1正则。L1正则会让gamma趋向零gamma为零意味着该通道输出乘以0随后这个通道基本失去作用。# 损失函数中叠加BN gamma的L1稀疏正则 import torch def compute_loss_with_sparsity(model, ce_loss, lambda_s1e-4): sparsity_loss 0.0 for name, module in model.named_modules(): if isinstance(module, torch.nn.BatchNorm2d): sparsity_loss torch.abs(module.weight).sum() total_loss ce_loss lambda_s * sparsity_loss return total_loss这个lambda_s值得好好调我一般从1e-5开始试太大会把所有gamma压得很小导致剪枝后精度崩太小又稀疏不动。训练若干epoch后你会看到一个很明显的现象gamma值分布出现两极分化一部分集中在零一部分还保持在正常范围。这些接近零的通道就是后面要剪的对象。4.2 通道选择按全局比例剪还是按层比例剪剪枝前要先统计每个BatchNorm的gamma值。常见做法是算好一个全局阈值把所有权重绝对值升序排列按你要剪的比例取对应的gamma作为阈值然后把低于阈值的通道全部剪掉。实际操作中我更喜欢“按层设定保留率”而不是一刀切的全局剪枝。因为不同层的冗余度不一样比如网络浅层可能对细节特征更重要保留率高一些深层冗余大保留率低一些。# 统计每层BN gamma的中位数和分布 def analyze_bn_gamma(model): for name, module in model.named_modules(): if isinstance(module, torch.nn.BatchNorm2d): gamma module.weight.detach().cpu().numpy() print(name, median:, float(gamma.mean()), max:, float(gamma.max()))剪枝时把选中的通道从当前卷积层和下一层卷积的对应位置同时移除。对于ResNet还要同时修改shortcut的卷积通道。建议在计算图上记录每个卷积层对应的输入通道mask然后逐层重建模型。现在一些开源框架像torch.nn.utils.prune只支持权重mask不太适合通道剪枝我更推荐基于nn.Module重写层的脚本或者直接用成熟的剪枝工具库。如果没有现成工具你至少要把“层索引-输入通道索引-输出通道索引”的关系在脚本里显式维护好否则剪完再加载会疯掉。4.3 剪掉多少微调怎么调两个关键参数的经验值剪枝率是最大的超参。我一般用一个很蠢但很有效的方法二分试探。先剪10%评估精度和推理速度再逐步加到20%、30%、40%观察精度曲线的拐点。一般来说ResNet34这类中等规模骨干检测模型在骨干部分剪掉25%到35%是比较安全的区间剪掉50%之后需要花很多精力调微调策略。微调阶段的学习率是关键。不要用训练初始阶段那种大学习率容易把已经学好的特征彻底打乱。建议用基线训练最终学习率的1/10到1/100甚至只用原来学习率的0.01倍。微调epoch也不宜太久通常几十个epoch就够了重点在于让剩余通道重新适应特征分布而不是重新学一遍。另外做完结构裁剪后BatchNorm的统计量均值和方差已经不准了因为通道数变了、中间层的特征分布也变了。很多框架在加载剪枝后模型时会沿用旧的BN统计量导致输出结果异常。我建议每次剪完以后先在训练集上跑一个“校准前向”过程重新统计BN的running_mean和running_var。这步很多人漏掉但漏掉之后的精度差距经常在3个点以上。5. 剪枝之后的精度恢复与量化协同整套压缩流程才算闭环5.1 精度恢复的三种常用手段剪枝后精度下降是正常现象我们的任务是把它拉回来。第一招是“微调恢复”不需要额外训练技巧靠训练数据和短时间训练就能把精度回提一部分。第二招是“知识蒸馏”用剪枝前的原始模型作为教师剪枝后的模型作为学生让学生的特征图或预测分布去逼近教师模型。这在检测任务上效果明显尤其是bbox回归分支学生可以学到教师的平滑输出框的位置会更稳。第三招是“重训练”如果剪得比较狠可以在稀疏化约束下重新从头训多个epoch这适合训练资源和时间都充足的项目。多数情况下我会先选微调恢复如果精度差超过1个点再叠加蒸馏。蒸馏损失不复杂# 简化版学生输出与教师输出的L2损失 distill_loss torch.nn.functional.mse_loss(student_pred, teacher_pred.detach())注意检测模型的蒸馏通常建议在特征图层面和预测层面同时做。特征图层面可以让学生的FPN和骨干特征尽量贴近教师预测层面则能约束分类和回归分布。5.2 剪枝和量化全套流程先剪再量化还是先量化再剪“resnet34 剪枝量化 全部流程”这个热搜词说明很多人关心剪枝和量化怎么衔接。我的经验是先剪枝再量化。如果你先量化再剪枝量化误差已经被“固化”到模型权重里之后剪枝的扰动会让误差传播得更厉害微调也更难稳定。而先剪枝后量化量化可以进一步压缩体积例如把FP32权重转成INT8模型尺寸再缩小4倍同时依靠校准集端到端校准尽量吸收前一步的精度扰动。量化的具体路径有PTQ训练后量化和QAT量化感知训练。如果剪枝后精度掉得不多用PTQ就够也就是用几百张或几千张校准图片统计各层激活的数值范围然后直接转INT8。如果剪掉的比例较大建议QAT在训练过程中加入伪量化节点让模型自己适应低精度表示。5.3 部署时的真实收益FLOPs减少不等于延迟减少剪枝和量化做完以后你是不是觉得推理速度一定会成比例提升不一定。FLOPs只是理论指标真实延迟取决于算子是否能在目标平台上高效执行。有些硬件对稠密小卷积优化很好但对不规则通道数反而有padding浪费有些硬件对INT8支持好但对FP16不感冒。所以每一项压缩操作做完都要在目标设备上跑一次benchmark。我在一个实际项目里ResNet34骨干的检测模型剪掉35%的骨干通道后FLOPs减少了40%但TensorRT推理延迟只减少了25%左右。原因在于模型里还有很多MLP、检测头、后处理等非卷积部分它们对总延迟贡献不小。如果再叠加INT8量化整体延迟又能下降一截这才达到部署目标。所以压缩方案也要“端到端”评估而不是只看某个指标。6. 剪枝落地时我踩过的几个典型坑6.1 BN统计量失效最隐蔽的精度杀手前面提到重新校准BN统计量这里我再强调一遍因为我第一次剪枝时真的在这上面栽过跟头。剪完模型精度比基线掉了5个点我以为是剪多了后来检查发现是加载旧权重后BN里的running_mean还是原始值。重新在训练集上跑了几个step的校准后精度直接回升了3个点。原因很简单模型被剪后特征分布已经发生了平移旧的统计量和实际分布完全不匹配。所以剪枝之后的第一件事不是直接评估测试集而是先“热身”几十个batch更新BN统计量再看测试精度。很多剪枝工具的demo里没有这步真正做项目时一定要自己补上。6.2 分布式训练和稀疏训练的冲突如果你用多卡训练检测模型稀疏正则的方向没有问题但要注意各卡上的batch不一样BN统计量在分布式同步时也会被拉平。如果你在单个GPU上剪枝时用的是一套BN统计量多卡训练时用的是另一套两者差异会直接影响稀疏通道的选择。我为保险起见一般先在一张卡上完成稀疏训练或者降低多卡同步的BN更新频率。这个细节看起来小但会直接影响通道选择精度表现忽上忽下。6.3 剪枝对检测头的感受野和anchor影响最后提醒一个很多人聊得少的点通道剪枝虽然不改变感受野的理论计算值但通道变少以后特征图的表达能力弱了对小目标的响应就会变弱。如果你发现剪枝后小目标漏检变多不要只盯着剪枝率还可以检查anchor尺寸是否需要重新聚类。有些项目里剪掉20%骨干通道后最佳anchor数量也从9个变成7个或8个重新聚类一下mAP能额外涨0.5个点左右。从我自己的体验看剪枝不是一个“剪完就完事”的动作它更像一套围绕冗余、稀疏、微调和部署的工程体系。真正要做的是对每个层、每个分支建立敏感性认知然后用实验数据去定剪枝策略。把上面这些细节照顾到检测模型压缩这件事就不会再让人头疼。
