1. 从“看得见”到“找得到”目标检测到底在解决什么问题先聊一个我自己的经历。早几年我面试过来应聘算法岗的同学简历上写着熟悉目标检测能熟练使用YOLO训练自己的数据。我问了他三个问题目标检测和图像分类的本质区别是什么为什么Faster R-CNN跑得慢但精度高YOLO跑得快但在小目标上容易翻车mAP为0.5意味着什么前两个他答得吞吞吐吐第三个直接沉默了。这不是个例。很多人把“跑通了模型”当成“理解了算法”但真正到换数据集、换场景、调优的时候缺的就是对基础问题的系统性认知。这篇内容我把它定义为“序章”——不教你怎么具体敲某一行的训练代码而是把目标检测这个领域的地图画出来算法有哪些类别、经典论文该按什么顺序读、主流方案之间到底差在哪、评估模型不能只看一个数字。无论你是刚入门的学生还是被项目逼着快速上手目标检测的工程师这份索引都能帮你省下大量“碎片化查资料”的时间。我会持续更新它让你始终能沿着一条清晰的主线往前走。1.1 目标检测的任务本质定位加分类一个都不能少图像分类解决的是“这张图里有什么”——输入一张图输出一个类别标签。目标检测则更进一步不仅要回答“有什么”还要回答“在哪里”。说白了它把任务拆成了两个子任务一是判断图像中的每个目标属于哪个类别二是用边界框把目标的位置圈出来。边界框通常用四个值表示中心点坐标加宽高或者左上角与右下角坐标。别小看这个“加一个框”的动作它直接改变了整个算法的设计思路——一个纯分类模型最后接一个softmax输出概率分布就行检测模型却要同时输出类别概率和坐标回归量这两种信息的损失函数、梯度尺度、收敛难度完全不一样。更麻烦的是图像里目标的数量是动态的。分类任务输出维度固定检测任务的输出数量却随着场景中目标个数变化。为了处理这种长度不定的输出主流方案基本分成了两派一类基于“候选区域加分类”先框出一堆可能包含物体的区域再逐个判断另一类基于“密集采样加回归”在整张图上铺满预定义的框一次性输出所有预测。这两种思路的差异就是后面要展开的两阶段与单阶段算法之分。1.2 检测难在哪里尺度、遮挡与密集场景目标检测不像分类那样“整体看个大概”就行它对细节极其敏感。首当其冲的是尺度问题一张图像里可能同时出现一只占满画面的大象和一只要放大好几倍才看得清的蚂蚁算法必须同时适应这两种极端。其次是遮挡拥挤的人群中前面的人挡住后面的人大半身体边界框怎么定类别置信度怎么算还有就是密集小目标——遥感图像里的一排排汽车、工厂质检图里的微小划痕目标可能只有十几个像素特征提取时经过层层下采样到最后特征图上可能连一个完整的响应点都没了。这些难点直接催生了目标检测领域的一些关键设计多尺度特征融合FPN、高分辨率特征图保留P2层、切片检测、以及注意力机制。所以看一篇检测论文时不要只盯着它的框架图有多炫要问一句它在解决哪个具体痛点是尺度、遮挡、小目标还是推理速度弄清楚了这一点你才能在面对一个新数据集时快速选出合适的算法而不是拿一套模型硬套所有场景。2. 三个流派、一条主线两阶段、单阶段与Transformer的演进脉络目标检测这十几年的发展表面上看起来方法层出不穷实际上主线非常清晰从“两阶段精雕细琢”到“单阶段直出结果”再到“Transformer全局建模”。三条路线各有各的底牌也各有各的代价。2.1 两阶段算法先找候选区域再精细分类两阶段算法的代表作是R-CNN家族。2014年的R-CNN用Selective Search在图像上生成约2000个候选区域然后逐个送入卷积网络提取特征、分类。思路直观但慢得离谱处理一张图要几十秒。后续Fast R-CNN把特征提取统一到整张图上解决了重复计算的问题Faster R-CNN则更进一步用Region Proposal NetworkRPN代替Selective Search把“找候选区域”这件事也变成了神经网络的一部分。为什么两阶段算法精度普遍偏高因为它在结构上给了模型两次机会第一次粗筛把图像中大概率有目标的区域挑出来第二次精修针对这些区域做细致的分类和边界框回归。阶段划分天然地将“难例”和“易例”做了分流分类器看到的大多数样本都相对干净。代价是速度慢、结构复杂部署时对显存和推理延迟的要求都比较高。2.2 单阶段算法一次前向传播直接出框YOLOv1在2016年横空出世它的思路是把图像划分成网格每个网格负责预测固定数量的边界框和类别概率一次前向传播就把所有结果输出。这种设计的最大优势是快——没有候选区域生成的过程结构简单到几乎“无脑”。YOLO系列后续的v2、v3、v5、v8等版本本质上都在做同一件事在“保持单阶段的速度”前提下不断弥补它和两阶段算法之间的精度差距。单阶段算法的短板也很明显整张图密铺anchor正负样本比例严重失衡。绝大多数预定义框里根本没有目标模型训练时很容易被海量负样本带偏。这个问题直到2017年RetinaNet提出Focal Loss才得到系统性缓解——通过调整损失函数中“难例”和“易例”的权重把训练重心推给那些真正难分的小样本。可以说Focal Loss是单阶段算法在精度上追赶两阶段算法的关键转折点。2.3 Transformer路线放弃anchor和NMS用集合预测解决检测2020年DETR把Transformer引入目标检测做法非常颠覆把检测任务重新定义为“从一个固定长度的可学习查询集合出发直接预测一组目标框和类别”。它不需要人为设计anchor也不需要在后处理阶段做非极大值抑制NMS因为它的核心机制——二分图匹配——已经在训练时强制每个查询对应一个真值目标输出天然就是“去重”的。Transformer路线的优势是全局建模能力强对长距离依赖、遮挡等复杂关系的理解优于卷积网络。代价是训练收敛速度慢而且小目标检测效果不如传统CNN方案。后续Deformable DETR通过可变形注意力有效加速了收敛DINO系列又进一步提升了精度。这条路线目前适合对精度要求高、对推理延迟容忍度较高的服务端场景边缘端部署还不是它的主场。3. 按这个顺序读论文比盲目扫arXiv高效十倍动辄上百篇检测论文每篇都逐字精读不现实也没必要。我的建议是把论文分成“基础底座”“演进关键”“进阶前沿”三组按顺序读每组的重点解决一个阶段的问题。你在读的时候时刻带着两个问题这篇论文在改什么改完以后代价是什么3.1 理解整套技术底座必读的七篇奠基之作第一组解决“地基”问题。按顺序读R-CNN2014理解“候选区域CNN分类”的最初范式。Fast R-CNN2015理解RoI Pooling如何共享计算。Faster R-CNN2015理解RPN如何将候选区域生成融入网络。YOLOv12016理解单阶段检测的极简设计。SSD2016理解多尺度特征图分别做检测的思想。FPN2017理解特征金字塔如何提升多尺度检测能力。Focal Loss / RetinaNet2017理解单阶段精度的瓶颈在哪。这七篇读完你脑子里应该形成一张时间线每篇论文都在解决前一篇留下的什么问题。R-CNN慢所以Fast R-CNN做了共享卷积计算Fast R-CNN的候选区域还是外挂的所以Faster R-CNN把它内化为RPNFaster精度不错但跑不快所以YOLO和SSD追求直接回归单阶段小目标效果差所以FPN引入多尺度稠密预测的负样本太难啃所以Focal Loss登场。把这条逻辑链捋顺了往后看任何一篇新论文你都能快速定位它的创新点属于哪个环节。3.2 看懂演进方向YOLO系列与检测器骨架的关键论文第二组回答“现代检测器是怎么长的”。这部分包含YOLOv2引入anchor和多尺度训练、YOLOv3多尺度预测更深的Darknet53、YOLOv4CSP结构、Mosaic数据增强、CIoU损失、YOLOv5及v8系列工程化实践集大成者。同时关注骨干网络演进ResNet是CNN骨架的标准答案Swin Transformer则证明了Transformer结构也能当骨架用并在密集检测任务上刷新了精度记录。读这组论文时建议配合开源代码一起看因为YOLO系列的创新点高度工程化比如CSP结构的计算量分析、数据增强组合方式对精度的具体影响单读论文很难有体感打开代码一对照就明白。我个人的习惯是每读完一个版本就在自己的小数据集上复现一遍跑一次训练和推理把论文里的消融实验数字和实际表现对上号。这是把“看懂”变成“会做”的必经之路。3.3 盯住前沿方向Transformer检测器与开放词汇检测第三组用来保持“技术前瞻性”。DETR和Deformable DETR是Transformer检测器的起点和关键改进DINO和RT-DETR则代表了这一方向的当前水准。此外开放词汇检测如GLIP、Grounding DINO把检测从“固定类别”推进到“任意文本描述可查”多模态微调检测也值得关注。这些方向目前还没有大规模进入工业部署但它们在做的事——让检测模型理解更丰富的语义、适应更开放的场景——大概率是未来三到五年的主流。4. 主流检测算法横向对比精度、速度与应用场景的三维取舍“哪个算法最好”是个伪命题真实世界只有“哪个算法在你的指标约束下最合适”。同一个算法在COCO上AP很高换到你的工业场景可能直接崩掉。所以对比算法我习惯从三个维度看检测精度AP、推理速度FPS/延迟、资源消耗显存/模型大小/部署难度。三者不可能全都要每个项目最终都是在找一个妥协点。4.1 一张表看懂当前主流检测算法的定位算法流派核心思路精度水平参考速度与资源适合场景Faster R-CNN系列两阶段RPN候选区域精细分类高尤其AP75高慢需较大显存离线分析、准确率优先YOLO v5/v8系列单阶段网格密集回归多尺度中高工程优化充分快容易部署实时视频流、边缘端SSD单阶段多尺度默认框直接回归中等快早期实时检测RetinaNet单阶段Focal LossFPN高中稠密小目标DETR / Deformable DETRTransformer集合预测二分匹配高慢训练资源大复杂语义场景、服务端DINO系列Transformer改进查询机制(contrastive denoising)顶尖慢精度极致、数据量大注意表格里我特意写了“参考”两个字——因为同样的算法骨干网络不同、输入分辨率不同、数据增强策略不同精度和速度能差出一大截。所以对比时不能只记一个笼统结论要绑定具体配置。4.2 为什么没有一种算法通吃所有场景每个算法本质上都在做“归纳偏置”的取舍。CNN天然具备局部性假设擅长捕捉局部纹理和形状所以对边缘设备友好但建模全局关系弱Transformer靠自注意力把全局关系显式建模能力强但计算量大。两阶段算法把问题拆开分步解每一步都更精细但流程长了延迟就上去了单阶段算法一步到位速度快但需要在损失函数上下更多功夫来解决正负样本失衡。理解了这层关系你就能针对自己的场景做判断。比如我的一个项目是做车间安全帽检测摄像头位置固定、光照相对可控、目标尺度变化不大、要求实时告警这种情况下抛开Faster R-CNN不用直接用YOLOv8s配高分辨率输入效果又快又好。反过来一个卫星遥感目标检测项目图像尺寸巨大、目标极小、类别多、允许离线处理YOLO的优势就发挥不出来了这时把注意力放在FPN的加强版、两阶段结合超分辨率放大的方案上ROI会更明显。5. 评价指标与数据集没有这两样算法对比就是空谈选模型、调参数都离不开一个前提你知道怎么科学地评判模型好坏。只看训练集loss降没降、测试集准确率百分数是多少在目标检测里远远不够。5.1 mAP不是“一个简单的百分比”mAP的计算建立在IOU之上。IOU衡量的是预测框和真实框的重叠程度——两个框的交集面积除以并集面积。一个预测框只有当它与某个真实框的IOU大于阈值比如0.5时才被算作“命中了”。AP是Precision-Recall曲线下的面积mAP则是所有类别AP的平均值。这里有个非常容易踩的坑COCO评测协议中mAP默认是“IOU从0.5到0.95每隔0.05取一个阈值然后对所有阈值取平均”。这就导致一个模型在AP50IOU0.5上很高、但在AP75IOU0.75定位要求更严格上偏低的情况经常出现。如果你只盯着mAP看就可能忽略模型“框不准”的问题。反过来业务场景对框的位置精度没那么敏感AP50反而比AP75更有参考价值。选指标不是越复杂越好而是越贴合业务越好。5.2 小目标、大目标分开看AP_s、AP_m、AP_lCOCO评测把目标按照面积分成小面积小于32×32像素、中、大三类分别计算AP_s、AP_m、AP_l。小目标检测难难在特征信息少、训练样本不足也难在评价指标上很容易被大目标“平均”掉——如果数据里大目标多小目标检测效果差整体mAP可能依然好看小目标的问题就被掩盖了。所以我做小目标相关项目时会强制自己单独看AP_s并在验证集上把小目标样本单独抽样出来肉眼检查检测框只看数字不直观。数据集方面COCO是当前最默认的基准PASCAL VOC是历史经典但难度偏低适合做快速验证工业场景几乎没有现成数据集基本都要自建和标注。自建数据集时类别数量、每类样本数、目标尺度分布都要记录清楚这些信息决定了你后面选什么模型、怎么调anchor、要不要做额外数据增强都是牵一发而动全身的。5.3 实际训练中跑分前必做的三件事确认评测协议是AP50还是mAP0.5:0.95要不要AR指标这直接决定你选模型时参考哪一列数。确认推理速度的统计口径FPS是在什么硬件、什么batch size、什么精度FP32/FP16/INT8下测出来的有的项目号称几百FPS实际是TensorRT INT8加大batch和你的部署环境根本不是一回事。确认锚点和输入尺寸不少模型的精度提升来自更大的输入分辨率代价是推理速度明显下降。对比时要把输入尺寸、骨干网络等配置写清楚否则对比没有意义。6. 工程落地视角的选型建议与实战避坑到了这个阶段你已经知道有哪些算法、它们各自的定位、用什么指标评价。接下来最关键的一步是在你的具体项目里做选型并避开那些“只有动手做才会遇到”的坑。6.1 选型的核心判断依据硬件、数据与实时性拿到一个检测需求我通常会先问三个问题。第一跑在什么硬件上如果目标是边缘端盒子或嵌入式设备模型参数量、计算量MACs必须严格控制此时YOLO系列的n/s版本几乎是不二之选如果跑在数据中心GPU上DINO这类大模型才有发挥空间。第二标注数据有多少数据量不足500张时老老实实用预训练权重做迁移学习别从零训练数据量几千张以上才能有底气尝试DETR这类数据饥饿型模型。第三实时性要求多强实时视频流和离线批量处理可用算法的范围完全不同。此外要关注“超轻量”路线。近年来出现了一些极小模型比如MACs只有5MB左右的检测方案在低算力MCU和轻量视觉设备上有明显竞争力。这类模型精度自然不如大模型但胜在能塞进过去根本跑不动深度模型的硬件里做嵌入式检测时值得优先调研。6.2 那些代码跑通之后才暴露的坑第一个坑是类别不均衡直接导致训练崩掉。有一回我做一个瑕疵检测项目正常品占90%以上瑕疵类别寥寥无几。直接把所有数据喂进去训练模型收敛后几乎把所有样本都判成正常品因为这样损失就已经很小了。解决办法是重采样、类别加权损失或者改用Focal Loss。这不是什么高深理论但在项目初期很容易被忽略。第二个坑是数据集的“领域鸿沟”。公开预训练模型在COCO上学到的特征到你的业务数据上未必适用。比如工业零件表面的纹理和自然图像差异很大即使微调如果数据量太少表层特征仍然占主导模型表现会很飘。我常用的思路是分阶段解冻骨干网络先在冻结backbone的情况下训练检测头等loss曲线平稳后再解冻部分层做微调这比一次性全量微调更稳。第三个坑是“推理速度只快在PPT上”。不少模型在理想benchmark上的FPS很漂亮一旦加上视频解码、预处理、后处理尤其是NMS端到端延迟就崩了。所以工程阶段一定要测端到端延迟并且包含从读取帧到输出结果的完整链路别只测一个网络前向时间。第四个坑是NMS参数没调。很多项目花大量时间调模型结构却忽略了NMS阈值、置信度阈值这些后处理超参数。不同场景下这些参数的影响巨大——密集人群里NMS阈值太低会大量误删正确框阈值太高又会输出一堆重复框。别小看这一步它有时比换模型还能涨点。6.3 我的个人维护习惯与后续扩展方向这份“序章”类的内容我习惯按双周甚至更快的节奏更新。每次更新我会重点看三类信息arXiv上新出的检测方向论文重点关注那些被多篇文章引用的工作、开源社区中新发布或大版本更新的检测项目关注star增速和实际评测结果、以及我自己项目里踩坑后的总结。技术更新太快一份固定不变的清单很快就会褪色保持“实时更新”本身就是这份内容价值的重要组成部分。后续我会把一些尚未展开的子领域逐步并进来比如半监督/自监督目标检测遥遥领先的数据利用效率、开放词汇检测的工程化落地、三维目标检测与2D检测的融合方案等。如果你是从零开始学目标检测我希望这篇“序章”能像一张地图一样放在手边先看清全貌再选路走然后一条路一条路去闯。时间花在刀刃上比什么都重要。
