简介这份资源面向点云分割与3D视觉研究者提供自我监督学习框架Seal的完整实现。Seal利用视觉基础模型VFM中的现成知识直接蒸馏到汽车点云数据上无需2D或3D标注即可完成任意车型点云分割并通过空间与时间一致性约束强化跨模态表示。压缩包共255个文件大小约32.59MB内容以Python源码py/pyc为主包含C/CUDA扩展cpp/cu/cuh算子、yaml/json/cfg配置脚本、Shell启动脚本、Markdown说明文档以及演示GIF和效果图PNG/JPG便于快速搭建与二次开发。已有79人学习资源中可获取完整训练/推理代码、配置与可视化样例既能学习大模型知识蒸馏到点云的实现思路也能直接用于真实/合成、低/高分辨率、清洁/损坏等多种下游分割任务。 做点云分割做久了大概都会冒出一个念头要是什么目标都不用现标模型自己就能把汽车点云切得明明白白那就好了。这个念头在过去几年是奢望但视觉基础模型VFM成熟之后路线变得非常清晰——用蒸馏的方式把2D和3D大模型里已经学会的“现成知识”搬到点云模型里让分割模型面对没有见过的汽车场景也能直接出活。这篇文章不聊太虚的框架就讲清楚蒸馏这套东西怎么落地、怎么选教师、怎么设计损失函数、踩过哪些坑最后再说哪些场景根本不适合这么干。1. 点云分割的尴尬模型再强没有标注就寸步难行先看一个很现实的问题点云语义分割的标注成本比大部分人想象的高得多。图像分割可以画框、画多边形有大量辅助工具而点云是一堆离散的三维坐标打在车身上的点、扫在行人身上的点要逐点判断类别。一个经验丰富的标注员标一帧包含几十个物体的路网点云可能需要几十分钟而且容易疲劳出错。汽车场景又特别吃细节汽车、行人、自行车、摩托车还有道路、人行道、路缘、植被类别一多标注质量就往下掉。与此同时2D视觉领域这几年跑得飞快。SAM能做到开箱即用的实例分割CLIP能把图像和文本对齐起来DINOv2这类自监督模型学到的特征泛化性也相当强。这些视觉基础模型不需要针对某个特定数据集重新训练拿过来就能在图上找到物体、理解语义。问题在于三维点云没有享受到同样的红利。点云毕竟没有颜色没有纹理一张图像里轿车和SUV的差异主要靠外形轮廓但在纯点云里这种几何差异很容易被噪声、遮挡和扫描密度变化掩盖。直接训练一个端到端的点云分割模型通常需要海量人工标注而且换一个传感器配置或换一个城市效果可能立刻缩水。蒸馏就是用来解决这个矛盾的。教师模型不直接读点云它去读相机拍到的图像然后通过相机和激光雷达的外参标定把图像里的语义信息投影到三维空间学生模型拿到这些“参考答案”之后再学会从原始点云里分割目标。用一句大白话概括教师负责“看”学生负责“摸”看过的知识通过蒸馏传给摸到的东西。这样一个知识转移过程能显著降低手工标注的依赖也能让点云模型继承2D大模型的开放词汇理解能力尤其是在汽车、行人、交通标志这类目标上效果非常直观。2. 为什么非要绕道2D图像VFM 的“现成知识”到底现成在哪2.1 视觉基础模型到底学会了什么视觉基础模型之所以能被当作教师是因为它们的表征方式和传统分类网络有本质区别。传统分类网络学到的是“这个物体是轿车还是大巴车”这种封闭集合里的概率分布遇到没见过类别就抓瞎。而CLIP这类模型学到的是图像与文本之间的对齐关系你给它一个“白色卡车”的文本描述它也能在图像中找到对应区域哪怕训练数据里没有专门标注过“白色卡车”。SAM学到的则是边界和实例感它能把一个物体从背景里完整切出来没有类别限制。DINOv2则更强调特征的一致性同一辆车在不同角度、不同光照下提取出来的特征应该尽量接近。这三类能力放在自动驾驶场景里都很关键CLIP管“它是什么”SAM管“它在哪里、边界在哪”DINOv2管“这个物体换了视角还是同一个东西”。用生活经验来类比就像一个团队里既有见多识广的讲解员又有眼神极好、下手极准的切割工。讲解员告诉你前方是一辆工程车切割工负责把工程车的轮廓完整勾出来两个人配合一张图就能榨出很丰富的信息。2.2 点云模型缺的是语义不是几何很多刚接触点云分割的人会有一个误解点云本身已经包含三维结构只要网络够深几何信息总能榨出来。实际不是这样。点云确实提供了几何结构但它缺少2D图像里那些强语义线索比如车身上的车标、玻璃反光、红绿灯的颜色。一个在纯点云上训练的模型可以学会“有四个轮子的大块头是车”但很难自动泛化到“这辆搅拌车也是我要分割的车”这个层面除非标签里明确出现过搅拌车。蒸馏等于用2D大模型的强语义补上点云模型的弱语义。教师从图像里提取的语义特征投影到三维后学生网络会在训练中不断学习一种映射看到某个局部几何形状就应该具备与教师语义特征接近的表征。3D预训练大模型在这条链路里也不是可有可无的如果手头有在大规模三维数据上预训练过的表征模型比如Point-BERT、ULIP这一类可以把它们作为另一个教师专门约束局部的几何结构让学生模型不要只盯着语义而忽略了点云本身的形状合理性。真正性价比高的做法往往是2D大模型做语义主力3D预训练模型做几何正则两者并行蒸馏学生的能力才会均衡。3. 蒸馏框架怎么设计教师分工、特征对齐和损失函数3.1 教师模型不是越多越好先看分工教师选得太多训练复杂度会爆炸选得太少语义覆盖又不够。我比较推荐的最小配置是“CLIP语义教师 SAM实例教师 可选3D几何教师”。CLIP负责给每个点或者每个局部区域一个开放的语义描述SAM负责给出精确的目标边界3D几何教师负责把局部形状约束住。三者分工明确一个管分类、一个管轮廓、一个管几何。如果项目刚开始为了快速验证流程也可以先用CLIP单教师跑通再加SAM提升边界质量。这里要给一个很实际的经验不是所有教师都在同一个特征维度上可比。CLIP输出的是文本-图像对齐特征SAM输出的是mask和mask embedding这两者直接拼到一起没有意义。实际工程里通常会把它们分开处理CLIP特征用于语义蒸馏SAM的mask则用于生成伪标签配合一个简单的实例分组后处理再喂给学生模型。这样每个教师各干各的不强行做特征拼接反而更稳定。3.2 点云到图像的对齐别忽略时间戳和外参蒸馏绕不开的一步是把点云三维点投影到2D图像上。常规公式是p K [R | t] P这里P是激光雷达坐标系下的三维点R和t是激光雷达到相机的旋转和平移K是相机内参矩阵得到的p是图像像素坐标。看起来只是一次矩阵乘法但工程里的坑非常隐蔽激光雷达和相机的采集时间通常不同步车速稍快车身周围的物体就会出现一两个像素甚至更多的错位外参标定如果有偏差投影出来的语义标签就像贴歪的贴纸直接污染训练数据。我的做法是投影之前先做时间对齐用车辆的运动信息把激光雷达点云补偿到相机采集的那个时刻投影之后再加一个深度一致性检查如果一个点投影到图像上但它的深度远大于对应像素位置的激光雷达深度就认为这个点被遮挡了不参与蒸馏。挡住的问题必须处理干净不然车后的墙、树后的行人会被教师模型误标成可见类别学生模型学到的全是噪声。3.3 损失函数的配比与调度蒸馏损失通常不会只有一项。常见组合包括三类第一类是伪标签交叉熵把教师预测的类别当作软标签计算学生输出的交叉熵第二类是logit蒸馏用KL散度拉近教师和学生输出的概率分布第三类是特征蒸馏用L2距离或余弦距离约束学生中间层特征去逼近教师的语义特征。伪标签交叉熵实现最简单但遇到教师错误时学生也会错得很坚决特征蒸馏泛化性强一点却更吃实现细节。一个容易忽略的点是损失权重。刚开始做的时候我习惯把三个loss直接相加各给1.0结果学生模型训练很不稳最后发现是伪标签CE和特征蒸馏在梯度方向上存在冲突。靠谱的做法是先给语义教师一个较高的权重比如伪标签CE权重1.0特征蒸馏权重0.1到0.3等学生训练到中期再把特征蒸馏权重提上来。损失权重可以随着训练轮数变化前热后冷比固定权重更稳。4. 汽车点云蒸馏实现管线从类别定义到学生训练4.1 目标类别怎么定用CLIP prompt而不是固定类别汽车场景的类别集合不是随便定的。经典方案是定义一组目标类别比如car、truck、bus、pedestrian、cyclist、motorcycle、traffic sign然后为每个类别构造文本prompt。Prompt可以简单写成“a photo of a car in street view”但实际效果差很多。CLIP对文本很敏感我建议一个类别写多个描述变体比如对car可以写“a car on the road”“a sedan driving on the street”“a parked car”等等然后把多个prompt的文本特征取平均稳定性会好很多。类别映射同样要小心。如果教师使用的是COCO类别COCO里的“truck”和自动驾驶场景里的“truck”覆盖范围不一定一致。稀疏常见的做法是把COCO里和自动驾驶无关的类别合并为background而不是直接丢弃因为那些类别对应的图像区域仍然能提供丰富的负样本信息可以帮助学生模型把“非道路目标”的边界学清楚。4.2 离线特征抽取为什么值得做训练初期最让人头疼的是显存不够。教师模型本身很重如果每次训练迭代都实时把点云投影成图像再让CLIP和SAM分别推理一张卡根本吃不消。我强烈建议把教师推理和学生学习拆成两个阶段先用教师模型把所有训练帧的语义特征抽出来缓存到磁盘之后训练学生时只读取缓存不再跑教师。这个操作能极大提高迭代效率也让教师模型的选择变得更灵活因为缓存之后可以一次抽取、多轮训练复用。缓存有几点要注意。第一特征保存推荐用半精度一个点的特征如果只有几百维半精度能省一半空间第二要保存置信度分数和遮挡标记后面过滤不可靠伪标签会用到第三如果后续要调整prompt或类别集合缓存就要重新抽所以最好在设计阶段就把类别集想清楚不要频繁返工。4.3 学生模型训练细节学生模型我用的是稀疏卷积网络把点云体素化成0.1米左右的分辨率输入范围截取前向80米、左右40米内这样既覆盖了汽车场景的主要区域又不会因为远处的点太稀疏造成算力浪费。数据增强不要只在图像上用点云同样可以做随机翻转、旋转、缩放、随机丢弃局部区域甚至模拟雨雾天气下的点噪声。增强的目的是让学生的几何特征更鲁棒不至于换个角度就分割失败。训练参数可以直接参考通用做法AdamW优化器初始学习率3e-4配合余弦退火batch size视学生模型大小而定通常在8到16之间混合精度训练必须开。蒸馏训练通常比纯标注训练需要更多epoch因为学生要从教师的高维特征里反复吸收信息一般建议训练到验证集mIoU连续10个epoch不再提升就停止。5. 在真实路测数据上踩过的坑5.1 远处的小目标被教师忽略第一个坑是远处的小目标。汽车场景里一辆距离80米外的轿车在图像上可能只有巴掌大小SAM对这种小目标的mask往往不稳定CLIP的特征也会被背景稀释。如果用这种低质量的教师输出训练学生学生会在远处目标上学到“远车背景”的错误规律。解决方向有两个。一是多尺度推理把图像放大到多个分辨率分别提取特征再融合小目标在放大后的图里会被更清晰地回应。二是对伪标签做置信度过滤只保留教师置信度高于阈值的点远处目标置信度低宁可不学也不要学错。经过这两个处理后远处小目标的漏检率能明显下降。5.2 标定误差让投影边缘露脏边第二个坑来自标定和同步误差。激光雷达扫描一帧需要占用几十毫秒车辆在运动相机拍摄瞬间和雷达扫描中心时刻不完全一致如果标定外参有微小偏差投影到图像边缘的语义标签就会错位。训练出来的学生模型在物体边缘经常出现一圈“脏边”明明是车边缘却混着道路或植被的信息。彻底的解决思路是把点云补偿到相机曝光时刻但这一步依赖精确的位姿信息。更实用的兜底方案是在损失函数里忽略边缘附近的数据点。具体做法是做一次距离变换把投影后离图像边缘或物体边界不到两个像素范围内的点标记为“不确定”不参与伪标签损失。边界干净了学生模型能学到的轮廓反而更清晰。5.3 多个教师特征打架第三个坑是多个教师之间自己先打起来了。CLIP认为某个区域是“car”SAM的mask却把旁边的地面也切进来两个教师的输出不一致。直接把两种损失加在一起学生会被互相矛盾的信号带偏训练loss降不下来。我用下来的办法是给每个教师加权不确定性动态调节。教师输出置信度高的地方保留distill置信度低的地方直接减掉损失。还有一个更简单的折中方案以CLIP的语义类别为准用SAM的边界信息做后处理也就是先有类别再精修轮廓而不是让两个教师同时影响同一个梯度方向。5.4 长尾类别学不动第四个坑是类别不平衡。汽车、卡车这类车体大的目标在数据集里大量出现行人、轻骑、交通锥这些类别出现频率低得多。普通交叉熵训练会让模型把注意力全放在高频类别上低频类别就算教师给了正确伪标签学生也学不进去。对这个问题我在损失函数里引入了focal loss思想再结合类别频率动态调整权重。低频类别的教师置信度阈值也会适当调低让更多有效样本进入训练避免类别因为样本太少而彻底学不出来。6. 效果评估和部署取舍蒸馏之后还要想清楚的事6.1 指标怎么评估才不骗自己评估蒸馏模型不能只看一个mIoU。mIoU是全局平均很容易被高频类别拉高低频类别做得差也可能被掩盖。我建议把每个类别的IoU单独列出来再按距离分桶统计近距离0到30米、中距离30到60米、远距离60米以外。交通场景里远距离的感知准确性直接影响决策系统的提前量哪怕远距离mIoU低一点点重要性也不容忽视。还要对比不同天气和光照条件下的指标雨雾天气下2D教师本身的图像质量就会下降蒸馏的效果随之波动这个信息要如实记录。从标注成本看蒸馏的价值非常大。在内部数据上我们用蒸馏方案把人工标注量减少到原来的一半模型在常见类别的分割效果依然接近全标注训练的水平只在远距离和罕见类别上略差。换算成项目周期这部分省下的人力成本非常可观。6.2 部署时学生模型怎么压缩蒸馏的最终目的是部署一个小而能打的模型而不是把教师模型搬到车上。训练完成后教师模型就可以退役。学生模型在车载环境里通常需要做这几件事把稀疏卷积的算子换成TensorRT支持的版本如果可能将体素大小从0.1米增加到0.15米速度会有明显提升但近距离小目标的精度会有损失需要实测权衡把整个网络量化到FP16或者INT8小模型部署出去之前最好先跑一批蒸馏教师生成的离线测试集确认量化后的精度损失在可接受范围内。还有一个省钱又省算力的技巧如果车辆算力有限可以只保留语义蒸馏头的输出实例分割部分放到后处理里用聚类算法完成省掉一个实例分割头的推理开销。6.3 什么时候别做蒸馏蒸馏不是银弹有几个场景我建议慎重。第一如果项目已经有了大量高质量点云标注人工再投入一点就能覆盖所有目标类别那蒸馏的边际收益会很低因为教师只是提供“近似答案”不可能比专门标注的地面真值更准。第二如果目标传感器配置和教师预训练数据差异非常大比如用128线雷达点云去蒸馏一个主要面向视觉图像训练的模型中间的模态鸿沟会消耗一部分知识学生能吸收的东西就少了。第三如果实时性要求极强连学生模型的推理时间都压不下来那就需要在模型结构上下更多功夫而不是指望蒸馏能凭空变出速度。蒸馏更适合的场景是数据很多但没有标注、类别集合频繁变化、希望快速跑出一个能用的点云分割原型。在这些场景里它确实能省掉几个月的标注周期。最后分享一个我在实践里很受用的小习惯任何蒸馏项目先用10%的训练数据把整个流程跑通人工抽检教师生成的伪标签质量再决定要不要全量展开。抽检时重点看两类样本——车辆密集的十字路口和远距离小型目标这两个地方的伪标签最容易出错。另外CLIP文本prompt的温度参数、学生特征头的维度这些细节改一个变量就要重新验一遍效果别想当然沿用上一个项目的配置。蒸馏的本质是把大模型的经验压缩成小模型的能力这个过程不复杂但每一步都需要耐心和实验支撑跑通之后你会发现点云分割不再是被标注成本卡脖子的苦差事而是一个非常顺手的生产工具。本文还有配套的精品资源点击获取
