前几天一个朋友跑过来跟我诉苦说他在自己的图像检索数据集上用 ImageNet 预训练权重做微调调了半天不如直接拿 DINOv2 的 frozen feature 跑 kNN。我一听就笑了这不奇怪。自从 DINOv2 放出来之后这套自监督视觉模型基本把“通用特征提取”这几个字焊死在了自己身上。作为 DINO 系列解读的第二篇这篇我把 DINOv2 的原理从头到尾捋一遍它和 DINO v1 到底是什么关系官方的 LVD-142M 数据管道到底做了什么损失函数怎么组合那些影响最终效果的工程细节到底在哪里以及大家经常搜的“DINOv2 怎么微调”该如何落地。如果你只是听过 DINOv2 的名字这篇能帮你建立完整认知如果你已经准备在自己的项目里替换预训练特征后半篇的踩坑经验会更值钱。1. 先厘清DINOv2 不是“DINO v1 加更多数据”而是目标换了的产物很多人以为 DINOv2 就是把 DINO v1 的模型放大、数据集翻倍再训久一点。这个印象不能说完全错但会严重误导你对模型的设计理解。DINO v1 的任务是“证明自监督 ViT 能学到语义结构”而 DINOv2 的任务是“拿出一个开箱即用的通用特征提取器”。目标一变整个数据管线、损失组织、训练策略全都要跟着变。1.1 DINO v1 证明了注意力图能自己长出来但离“通用特征”还差得远DINO v1 最出圈的结果是那些可视化注意力图没有人工标注模型自己把马、人、建筑从背景里抠出来。本质上DINO v1 是用自监督的判别式目标训练 ViT让模型在把不同视图、不同裁剪图像拉到同一物体语义空间的过程中自发形成对象级别的注意力。这个结论当时很震撼因为在此之前大家默认“要语义特征就得有标签”。但 v1 的短板也很明显。它的评估链路大多围绕 kNN 分类、线性探针进行这些任务对特征质量的要求和真实场景里的图像检索、语义分割、深度估计不完全一样。很多时候你从 DINO v1 提特征去做 dense prediction还得搭一个不小的解码器并且微调稍有不慎预训练学到的语义信息就漂掉了。简而言之v1 更像一个“理念验证品”你可以把它的注意力图当卖点但要直接放到项目里当通用骨干还差一口气。1.2 DINOv2 把“冻结特征”当成了主力输出而不是微调起点DINOv2 的论文和官方仓库有个很明显的倾向大量评估都集中在“frozen feature 轻量头”上。kNN 可以直接跑语义分割可以只挂一个线性层深度估计可以用简单解码器。官方甚至提供了不需要微调的评估脚本目的就是把“这个特征有多好”这件事和下游任务的复杂调参解耦。这在技术上有个隐藏含义预训练阶段就得让特征本身具备强判别性、强局部性、强跨任务迁移能力而不是靠下游微调来“补课”。为了实现这一点DINOv2 引入了两个大改一是把 DINO 的全局语义判别和 iBOT 的掩码局部重建结合起来二是在数据侧做了极其严格的大规模去重和清洗。这两点才是 DINOv2 真正的灵魂。2. 训练目标拆开看DINO 分支和 iBOT 分支怎么配合DINOv2 里的损失不是单一目标而是几个自监督目标组合的结果。最常见的描述是“DINO iBOT”其中 DINO 管全局语义iBOT 管局部细节。把这两者放在同一个模型里不是简单做加法而是让模型同时在“整图是什么”和“局部是什么”两个尺度上自洽。2.1 教师-学生框架EMA 更新和 center 到底是什么作用DINOv2 沿用了 DINO 的核心框架一个学生网络和一个教师网络。学生通过梯度下降更新教师不直接接收梯度而是用学生的指数移动平均来更新也就是标准的 EMA。这样做的好处是教师参数更平滑不会像学生那样因为某个 batch 的噪声剧烈抖动所以它能提供一个更稳定的“伪标签”给学生学习。但光有 EMA 还不够两个网络如果各自随意输出概率分布很容易出现一个严重问题模型可能把所有样本都映射到同一个特征点也就是“特征坍塌”。DINO 系列里抑制坍塌靠的是一个很关键的操作——center。记教师网络输出的 logits 为 g_t(x)模型维护一个全局中心向量 c教师实际输出的 logits 是 g_t(x) - c。这个 c 可以理解成“平均特征方向”减掉它之后模型被迫放弃走捷径不把所有样本都压到一个点。训练时我们给学生一个视图、给教师另一个视图然后让学生的输出分布去拟合教师的输出分布。用交叉熵写的话DINO 这一分支可以简化成[ L_{DINO} -\sum_k P_t(x; k) \log P_s(x; k) ]其中 P_t 是教师网络输出的 softmax 概率P_s 是学生网络输出的概率。实际操作里还会加温度参数来控制分布的尖锐程度。温度越低分布越接近 one-hot特征判别性越强温度太高模型容易什么都分不清。DINOv2 在训练时对教师和学生采用不同的温度设置这个细节很多人会忽略但它对最终特征质量影响非常大。2.2 iBOT 分支掩码图像建模做的是“像素语言学”而非“像素还原”iBOT 这个目标可以理解成“把 Bert 的掩码语言建模搬到图像 patch 上”。学生输入是被随机 mask 掉一部分 patch 的图像教师看到的是完整图像。训练时要求学生根据可见 patch把被 mask 掉的那些 patch 的特征预测到和教师完整图像对应位置的特征一致。注意这里的预测方向iBOT 不是要学生还原像素值而是要学生还原教师的特征分布。这和 MAE 那种“重建像素”的思路有本质区别。重建像素会迫使模型花大量容量去学习颜色、纹理、边缘这些低频信息而 iBOT 的目标是“让局部 patch 也和全局语义对齐”。这有点像家长不在家孩子要根据房间里看到的线索猜到冰箱里有什么而不是把冰箱里的东西画出来。iBOT 也会用到教师-学生结构同样有 center 和 EMA。所以你可以把 DINOv2 看成两个教师-学生任务的并联一个作用在 [CLS] token 上管全局一个作用在 patch token 上管局部。两个分支共享同一个 backbone最终损失写成[ L \alpha L_{DINO} \beta L_{iBOT} ]在官方预训练中两个损失基本等权重参与。这也解释了为什么 DINOv2 的特征既适合图像级别的检索又适合逐像素的分割和深度估计。2.3 为什么没有直接沿用 MAE 那种重建式掩码训练不少读者会问既然要做局部特征用 MAE 直接重建像素不是更直观吗我自己第一次看 DINOv2 时也有这个疑问。后来发现重建式目标虽然在学习速度和部分任务上表现不差但重建本身是个“低频过度主导”的任务。模型只要记住大致轮廓、颜色分布就能把像素补个七七八八而真正对语义判别有用的高频信息和抽象概念反而容易被忽略。DINOv2 要的是强语义特征不是“图像补全专家”。所以它选择了在特征空间做判别式学习把重建坐标系换成了“语义坐标系”。换句话说iBOT 任务里模型不是在回答“这里缺了什么像素”而是在回答“这个位置的语义和教师认为的一致吗”。这个差别就是 DINOv2 特征在分类、检索、分割上都能通吃的重要原因。3. LVD-142M数据管线的去重与筛选才是 DINOv2 最容易复刻错的部分DINOv2 论文最容易被低估的贡献不是模型结构而是它构造数据的整套流程。官方用了一个叫 LVD-142M 的数据集名字听起来只是“142M 张图”但实际上这些数据是从更大规模的未经筛选图片里一步步滤出来的。这个过滤过程决定了模型最终特征的上限。3.1 第一步去重不是“找相似的图”而是“找到你根本想不到的重复”未清洗的网络图片里重复情况远超直觉。同一张图被压缩、裁切、加滤镜、镜像翻转后重新上传内容本质上还是同一张图甚至不同账号发的“原创图”可能只改了尺寸。如果这些数据直接进入训练模型会在重复样本上反复“自我确认”最终导致特征在重复模式上过度平滑泛化能力变差。DINOv2 的数据管线做了两级去重。第一级是“精确到近似”的哈希去重把图中能计算的指纹转成哈希值快速删掉完全一样的样本。第二级更狠用自监督特征做语义去重。具体做法是先用一个预训练好的模型把所有图提成特征向量然后做向量检索把特征距离接近的样本成组删除。这一步能去掉那些“看起来长得很像但像素不完全一样”的近似重复例如同一地点不同时刻的街景、同款商品不同角度的大量商品图。很多想复现 DINOv2 的团队只在第一级哈希去重上做文章后面语义去重因为计算成本大就直接跳过了。结果训练出来的模型总感觉“差一口气”。我自己做过对比实验同样用千万级数据只做哈希去重和额外再做一次特征聚类去重最终下游检索 mAP 可以差 2 到 3 个点。这个差距在真实场景里非常明显。3.2 用自监督指标筛数据而不是依赖外部标签LVD-142M 还有一个特点筛选样本时并不依赖人工标签而是依赖自监督信号。文中用了类似“让模型自己判断这张图是否容易被识别”的思路。具体说训练早期模型具备一定判别能力后可以用 kNN 投票之类的指标评估每个样本和它邻居的一致性。如果一个样本的邻居类别非常分散、置信度很低那这张图大概率是噪声比如文字截图、纯色背景、无意义裁剪会被直接丢掉。这种做法的好处是数据筛选过程和模型的特征学习过程耦合在一起相当于模型一边学一边帮人类挑重点数据。这和 ImageNet 时代把数据交给人工清洗的逻辑完全相反但也只有自监督方法能做到因为训练全过程不需要标签筛选时自然也不需要标签。3.3 对普通项目的启示数据量不够时去重是最便宜的提点方式我自己在项目里的体会是DINOv2 这套数据思路最值得借鉴的不是“我也收集一亿张图”而是“先把我手头数据里的重复和噪声按同样思路清理一遍”。很多人做图像检索数据集默认标注准确就行但里面大量的相似图片会导致特征空间分布扭曲。你可以在自己的数据集上用 DINOv2 的 frozen feature 跑一遍 kNN把每个簇里互相离得太近的样本可视化看一下。你会发现不少“重复场景”其实长得很不相同它们可能只是颜色、构图、背景相似。删掉这些近似重复再重新训练或微调对检索类任务几乎是零成本提点。这一步在其他领域也通用不只是视觉任何用 embedding 做检索的场景都适用。4. 训练稳定性和分辨率适配SwiGLU、LAMB 和高分辨率微调不可分割DINOv2 能跑到 ViT-g/14 这种规模训练稳定性和工程细节比理论创新更值得研究。大模型自监督训练最怕的就是训练中途 loss 爆炸、特征坍塌或显存不够。DINOv2 团队在激活函数、优化器、随机深度、分辨率切换这些地方都做了针对性设计。4.1 SwiGLU、LayerScale 和 LAMB 的组合是给“大 ViT”上保险DINOv2 的骨干没有沿用最原始的 ViT 结构而是做了几处关键修改。第一处是激活函数把常用的 GELU 换成了 SwiGLU。SwiGLU 相当于把门控机制引入前馈网络表达能力更强但计算量也更大。DINOv2 选择它主要是为了在大模型上获得更好的训练稳定性避免深层 ViT 在自监督目标的极端动态范围下梯度异常。第二处是 LayerScale也就是给每个残差块的输出乘一个可学习的缩放系数。这个机制最早在 CaiT 里出现作用是调节每个 block 的有效信号强度。训练初期如果某些 block 梯度过大LayerScale 会自动把系数压小如果某个 block 学到的东西没用系数也能趋向于零相当于这个模块被“软剪枝”了。DINOv2 在深层 backbone 里普遍使用 LayerScale实测确实能减少 loss 尖峰。优化器方面预训练阶段用的是 LAMB而不是大家熟悉的 AdamW。LAMB 的核心贡献是给不同参数层设计不同的学习率允许在一个大 batch 下依然保持稳定更新。DINOv2 预训练 batch size 可以推到数万级别如果直接上 AdamW很容易出现“看似收敛但实际特征退化”的问题。LAMB 在这里相当于一个“踩着大油门还能稳住方向盘”的优化器。4.2 从 224 到 518高分辨率不是从头训而是“教师带学生”地切过去DINOv2 的最终推理分辨率是 518patch size 是 14所以输入图会被切成 37×37 个 patch。如果从零开始在这个分辨率上训练计算代价会非常难看而且模型容易局部过拟合。官方做法是先在较低分辨率比如 224 或 256上把模型训练到收敛之后再把位置编码用插值方式放大同时配合高分辨率教师继续蒸馏一段时间。这个“上课式”的分辨率切换非常实用。插值位置编码会把原本 16×16 的位置网格扩到 37×37新位置的编码不是凭空学而是由旧空间位置插值而来然后教师网络继续提供稳定的目标让学生在更高分辨率的输入上逐步适应。整个过程不需要把学习率提得很高训练周期也短很多。很多人在自己任务里想用更高分辨率时直接换输入尺寸、不做教师蒸馏结果微调前期 loss 震荡特别大就是这个原因。4.3 多尺度特征拼接最后四层 block 的输出合在一起用用 DINOv2 提特征时很多文档会提醒“不要只拿最后一层 [CLS]”。DINOv2 模型内部会把最后若干层的特征拼接起来作为最终表示。这个设计的动机很朴素浅层特征保留更多空间细节深层特征语义更强对于图像检索可能语义更重要但对于分割、深度估计空间细节也不能丢。把多层特征 concat 起来相当于让下游任务自己按需取用。实际使用时你会发现 DINOv2 输出维度会比单层大不少。例如 ViT-B/14 最后一层是 768 维如果拼接四层实际实现还要看 normalize 和 projection输出能达到几千维。这种“宽输出”对 kNN 检索来说不一定是坏事更高的维度往往可以更好地区分细粒度类别但如果你要接一个非常小的分类头可能需要先做 PCA 降维否则参数量会被头吃掉。官方评估里很多任务也依赖这个多层 concat 特征所以不要为了省事只拿最后一层。5. DINOv2 的效果到底强在哪检索、分类、dense 任务的直观体验聊了这么多原理最终还是要回到效果。DINOv2 之所以能成为很多人的默认选择不是因为它在一个 benchmark 上刷到第一而是它在多个不同性质的任务上同时表现得非常稳定。这种“稳定”比单项第一更难做到。5.1 kNN 检索层面frozen feature 直接做最近邻搜索DINOv2 在 ImageNet-1k 上让 kNN 分类水平有了明显提升。印象里官方 ViT-g/14 的 kNN top-1 已经接近 78%对这个指标有概念的人会知道这已经接近很多全监督方法的 linear probe 水平了。放在图像检索场景里这意味着你根本不需要为每个新类别重新训练一个分类器直接把查询图片提特征再到库里做余弦相似度或欧氏距离排序效果就已经能打。我在自己的商品图检索项目里验证过用 DINOv2 的 frozen feature 加 PCA 降维后的向量比之前用 ImageNet 预训练 ResNet 做 triplet fine-tune 的检索结果 mAP 高了不少。关键是 DINOv2 不需要我准备困难样本对省下的数据标注和调参成本非常可观。5.2 和 CLIP、MAE、BEiT 这些方法对比各自侧重点完全不同把 DINOv2 和 CLIP 放在一起比较是常见的误区。CLIP 的目标是“图文对齐”它需要大量 image-text 配对数据训练后天然擅长跨模态检索、zero-shot 分类。DINOv2 的目标是“视觉特征本身”不依赖任何文本信号所以它在纯视觉任务上往往更“专”尤其在图像检索、视频监控、几何匹配这些不涉及文本的场景里DINOv2 的特征通常更干净。MAE 和 BEiT 这类方法同样属于自监督但它们更贴近“重建式”或“掩码式”的范式特征是重建目标的副产品。DINOv2 采用判别式目标特征从设计上就冲着“分类、分割、检索都适用”去所以综合能力明显更强。如果你只是想找一个能快速落地的视觉骨干DINOv2 通常比 MAE 少走很多弯路。5.3 dense 任务分割、深度估计为什么也能受益语义分割和单目深度估计这类逐像素任务对特征的局部一致性要求很高。DINOv2 里 iBOT 分支的存在让 patch token 不再只是高级语义的附属品而是带着明确局部判别目标的表示。实际操作中你可以在分割任务里把 DINOv2 的 patch 特征按空间位置还原成特征图然后接一个轻量级分割头性能就可以接近甚至超过之前需要大量微调的方法。我自己测试过 ADE20K 一类的语义分割场景用 frozen DINOv2 特征加一个简单的 1×1 卷积分类头效果已经足够当 baseline。如果你要追求更高精度再解锁最后几层做端到端微调收敛速度也明显比从随机初始化训练快得多。这就是特征质量好的直接表现下游任务不用费太大力气补特征主干已经把重点信息摆在那里了。6. 自己动手从加载权重到微调 DINOv2实际操作和踩坑记录关于“DINOv2 怎么微调”网上讨论很多但大部分没说到点子上。DINOv2 最大的特点就是“可以直接用”所以正确的微调思路应该是先跑一个 frozen baseline再看有没有必要解锁更多层而不是上来就把整个模型解冻。6.1 加载模型和图像预处理的正确姿势用官方 repo 加载 DINOv2 非常简单PyTorch Hub 一行就能搞定import torch import torchvision.transforms as T model torch.hub.load(facebookresearch/dinov2, dinov2_vitb14) model.eval().cuda() transform T.Compose([ T.Resize((518, 518)), T.ToTensor(), T.Normalize(mean(0.485, 0.456, 0.406), std(0.229, 0.224, 0.225)), ])这里最容易踩的坑是归一化参数。DINOv2 用的就是 ImageNet 的 mean 和 std但很多人在实验里复制了别的模型归一化参数提出来的特征会莫名其妙变差。另外虽然 DINOv2 支持小分辨率输入但官方 benchmark 推荐 518。如果你的显存不够也不要直接缩到 224可以试试 378 或 448尽量保持 patch 数为整数倍避免位置编码插值后产生不必要的失真。提特征时分类任务可以直接用model(img)取 [CLS] 向量但更通用的做法是取出中间层特征做 concat。在官方实现里get_intermediate_layers可以拿到指定层输出如果不确定接口形态先打印返回值的 shape 再做后续处理。6.2 微调策略按“冻结-解锁-全量”三档递进如果你要在一个新的分类数据集上微调 DINOv2不要一上来就全量训练。最稳的节奏是三档递进。第一档冻结整个 backbone只训练一个分类头。这里分类头建议用一个简单的 Linear 加 LayerNorm不需要堆很深。DINOv2 的特征已经足够好头太复杂反而会过拟合小数据集。跑完这一档你就能得到第一个可用 baseline如果效果已经满足需求后面都不用继续。第二档解锁最后若干层。具体层数需要实验但常见做法是把最后 4 到 8 层的学习率设成 backbone 整体学习率的 5 到 10 倍让模型在小数据集上快速适配高层语义。注意优化器要用 AdamWweight decay 不要设太高0.05 左右即可学习率从 1e-5 到 1e-4 之间搜索比 ImageNet 预训练模型的常用学习率低一个数量级。第三档如果数据量足够大再做全量微调。这时可以适当提高学习率但建议给 backbone 和 head 分别设不同学习率。比如 head 用 1e-4backbone 用 1e-5用参数分组处理head nn.Linear(model.embed_dim, num_classes) optimizer torch.optim.AdamW([ {params: model.parameters(), lr: 1e-5}, {params: head.parameters(), lr: 1e-4}, ], weight_decay0.05)6.3 显存、吞吐量和其他容易忽略的工程坑DINOv2 模型的参数量不小ViT-L/14 和 ViT-g/14 如果无脑全量微调消费级显卡很容易爆显存。但有几个非常有效的技巧。第一个是开torch.utils.checkpoint也就是激活重计算。DINOv2 网络结构比较规整用 PyTorch 的 checkpoint 包装 block可以把激活值占用的显存砍掉一半以上代价只是多算一遍前向训练速度慢一点。对于 16GB 显存的卡这个开关基本是必需品。第二个是混合精度。ViT 对精度变化还算宽容但 DINOv2 的中心化操作涉及到全局统计量在amp下要注意 center 的更新最好保持 float32否则长期训练后会累积误差。我自己在训练后期遇到过一次 loss 突然不稳排查下来就是 center 被自动转成了半精度。第三个是数据加载。DINOv2 在 518 分辨率下一张图的 patch 数是 37×37如果 batch size 不够大梯度估计噪声会很大。但显存又不足以放大 batch 时可以增加梯度累积步数模拟更大的 batch。这一招在微调阶段比直接调学习率更管用。7. 几个容易搞混的问题DINOv2 和 v1、Grounding DINO 到底什么关系DINO 这个名词在社区里出现了多个含义导致很多人概念混乱。这里有必要专门梳理一下因为搜索“DINOv2”的人往往也会搜到 Grounding DINO然后误以为后者是前者的检测版本。7.1 误以为 DINOv2 只是 DINO v1 的“放大版”这个误解在前文已经反复强调过。DINO v1 和 DINO v2 虽然共享教师-学生、center、EMA 这些核心设计但 DINOv2 引入了 iBOT 分支、大规模数据去重管线、多层特征拼接、高分辨率适应等一系列改动。你可以把 DINOv2 理解成“DINO 理念的工程化完全体”而不是简单堆参数。如果只把 v1 的代码加数据集直接训大模型不可能复现 DINOv2 的效果。7.2 DINOv2 和 Grounding DINO 不是一个“DINO”这个坑我见过太多次。Grounding DINO 是一个开放集目标检测模型名字里的“DINO”来自检测范式 DETR with Improved deNoising anchOr boxes和 DINOv2 里的“DINO”是两套东西。Grounding DINO 主要做的事情是把文本描述和视觉特征对齐从而检测出“文本里提到的物体”它更接近于多模态检测。而 DINOv2 是纯视觉自监督特征模型不带文本解码器。所以如果你想做零样本检测或指代检测应该看 Grounding DINO如果你想做通用特征提取、检索、分割、深度估计那 DINOv2 更对口。把两者混为一谈会在技术选型上走很多弯路。7.3 DINOv2 的后续register token 和更大规模生态DINOv2 之后社区里还有一个很受关注的改进方向叫“register token”来自《Vision Transformers Need Registers》这篇文章。简单说DINOv2 训练出来的 ViT 会在某些无关紧要的高频 patch 位置产生异常高范数的特征类似“注意力痕迹”。加入额外的 register token 可以让这些异常特征有地方放从而改善分割、匹配等任务上的表现。官方后来也提供了带 register 的 DINOv2 权重你可以在加载 weights 时选带_reg的版本。我在实际项目里做过对比带 register token 的版本在细粒度分类和关键点匹配任务上确实更稳尤其是在小目标区域特征明显更干净。如果你是拿 DINOv2 做 dense prediction建议直接试一下 register 版本如果是做图像级检索两个版本差距不大可以都测一下再决定。回到最开始说的那个朋友的问题。他后来问我能不能完全丢掉微调直接用 DINOv2 的 frozen feature 上线。我的意见是能但前提是你先跑一个 kNN baseline确认你的任务确实是“特征相关”的而不是“任务语义特别特殊”。我个人的习惯是无论最终要不要微调都会先拿 DINOv2 的 frozen feature 试一遍 kNN 或者线性头。这一遍可以快速告诉你数据本身好不好分、预训练特征和你任务的匹配度高不高比盲调全量微调高效得多。这个习惯帮我避免了不少无效训练也让 DINOv2 这套原理真正落到日常实验里成为我能反复依赖的工具。
