环视感知这个方向这两年从论文到量产落地热度一直没降过。只要涉及多相机、多模态融合的自动驾驶项目BEVFormer 和 BEVFusion 这两个名字几乎绕不开。我自己从去年开始陆续在几个项目里分别用过这两套方案踩过不少坑也积累了一些选型上的判断依据。这篇文章不打算复述论文里的公式而是从实际工程落地的角度把这两个方案在5个关键维度上的差异讲清楚帮你判断自己的项目到底该选哪个。不管你是刚接触BEV感知的新手还是已经在做方案选型的老手应该都能从中找到对自己有用的参考。1. 先搞清楚这两个方案到底在解决什么问题1.1 环视感知的核心任务是什么环视感知的本质是把车上多个相机通常是6个前视、前侧、后侧、后视等拍到的2D图像统一映射到一个鸟瞰视角Bird‘s Eye View简称BEV的平面上然后在这个统一的BEV空间里做检测、分割、跟踪等下游任务。为什么非要转到BEV因为下游的规划控制模块需要的是一个自上而下的、物理尺度一致的场景表示而不是6张各自为政的2D图片。你没法直接拿6张透视图去做路径规划坐标系都不统一。传统做法是靠逆透视变换IPM把图像投影到地面但这个方法有个致命缺陷它假设地面是平的一旦遇到坡道、减速带或者需要检测有一定高度的物体比如卡车、行人IPM就彻底失效了。BEV感知方案就是为了解决这个问题而生的它不依赖地面平坦假设而是通过网络学习的方式把2D特征提升到3D空间再压缩到BEV平面。1.2 BEVFormer的核心思路BEVFormer是2022年提出的方案核心创新在于用Transformer的注意力机制来做空间交叉注意力Spatial Cross-Attention和时间自注意力Temporal Self-Attention。简单说它先在BEV平面上初始化一组可学习的查询向量Query然后每个Query通过注意力机制去6张图像里“找”对应的特征。这个“找”的过程是通过3D参考点投影实现的每个BEV网格对应一组3D空间中的柱状参考点这些参考点投影到各相机图像上采样对应位置的特征再加权融合。时间维度的处理也是BEVFormer的一大特色。它会把上一帧的BEV特征对齐到当前帧和当前帧的特征做注意力融合这样就能在没有显式时序建模的情况下隐式地捕捉运动信息。实测下来这个时序融合对速度估计和遮挡场景的检测提升非常明显。1.3 BEVFusion的核心思路BEVFusion有两个版本一个是MIT提出的激光雷达相机一个是ADLab提出的纯视觉多任务。这里主要讨论MIT版本因为它更主流。BEVFusion的核心思路是“分别提取特征在BEV空间融合”。相机分支用类似Lift-Splat-Shoot的方式把图像特征提升到BEV空间激光雷达分支用PointPillars或VoxelNet提取BEV特征然后在BEV平面上做通道维度的拼接或注意力融合。它的最大卖点是不依赖Transformer的注意力机制来做视图变换而是用显式的深度估计来完成2D到3D的提升。这个设计让它在推理速度上有天然优势而且对部署硬件更友好。另外因为融合了激光雷达它在深度估计精度上比纯视觉方案高一个档次尤其在夜间和恶劣天气下优势明显。2. 5个关键差异点逐一拆解2.1 差异点一视图变换的实现方式完全不同这是两个方案最根本的区别也是影响后续所有工程决策的源头。BEVFormer用的是注意力驱动的视图变换。具体来说它定义了一组3D参考点每个参考点通过相机内外参投影到图像平面然后在投影位置附近采样特征。这个过程不需要显式的深度估计网络自己学会该关注哪些位置。好处是理论上可以处理任意高度的物体不受深度估计精度的限制。坏处是计算量大因为每个BEV Query都要和所有相机的特征做注意力计算复杂度是O(N×M)N是BEV网格数M是图像特征像素数。BEVFusion用的是深度估计驱动的视图变换。相机分支对每个像素预测一个深度分布然后根据深度把图像特征“抬”到3D空间再投影到BEV平面。这个过程是显式的、可解释的。好处是计算效率高因为深度估计可以并行做而且一旦深度确定投影就是简单的几何变换。坏处是深度估计的精度直接决定了最终BEV特征的质量如果深度预测不准整个BEV表示都会偏。我实际用下来的感受是BEVFormer在近距离、多高度物体的场景下表现更稳因为它不依赖深度估计BEVFusion在远距离和高速场景下更有优势因为深度估计在远距离的误差会被放大但激光雷达的引入弥补了这一点。2.2 差异点二传感器配置和融合策略的取舍BEVFormer是纯视觉方案输入只有6路环视相机图像。这意味着它的硬件成本更低对整车厂来说更有吸引力因为不需要额外的激光雷达。但纯视觉的天然短板是深度估计不准尤其在夜间、逆光、雨雪天气下相机的成像质量会大幅下降BEVFormer的性能也会跟着掉。BEVFusion是多模态融合方案输入是相机激光雷达。激光雷达提供的精确深度信息让BEVFusion在恶劣天气和夜间场景下的鲁棒性明显优于BEVFormer。但代价是硬件成本高而且激光雷达的点云稀疏性会导致远距离物体的检测仍然有挑战。这里有个工程上的权衡如果你做的是L2级别的辅助驾驶成本敏感纯视觉的BEVFormer可能更合适如果你做的是L4级别的自动驾驶对安全冗余要求高BEVFusion的多模态融合是更稳妥的选择。我见过一些项目为了省成本先用BEVFormer做原型验证等方案成熟后再加激光雷达切换到BEVFusion这个路径也是可行的。2.3 差异点三时序建模能力的强弱对比BEVFormer的时序建模是内置的、端到端的。它通过Temporal Self-Attention把历史BEV特征和当前帧融合不需要额外的跟踪模块就能捕捉运动信息。这个设计在遮挡场景下特别有用如果一个物体在当前帧被挡住了但上一帧能看到时序注意力可以把它“找回来”。实测下来BEVFormer在遮挡场景下的召回率比单帧方案高15%以上。BEVFusion的时序建模是外部的、可选的。MIT版本的BEVFusion本身不包含时序模块你需要自己加跟踪算法比如卡尔曼滤波或匈牙利匹配来做时序关联。这意味着它的时序能力取决于你后接的跟踪模块灵活但不够优雅。不过ADLab版本后来加了时序融合效果也不错但那是另一个方案了。从工程角度看BEVFormer的时序建模更“省心”因为它是端到端训练的不需要你调跟踪参数BEVFusion的时序建模更“可控”因为你可以根据具体场景选择不同的跟踪策略。如果你团队里有专门做跟踪的工程师BEVFusion的灵活性可能更有价值。2.4 差异点四训练成本和部署难度的实际差距BEVFormer的训练成本明显更高。原因有三第一注意力机制的计算复杂度高训练时显存占用大6路相机输入下单卡A100 80G勉强能跑batch size只能开到2第二时序训练需要缓存历史帧特征进一步增加了显存压力第三收敛速度慢我实测下来BEVFormer在nuScenes数据集上需要训练24个epoch才能达到论文报告的精度而BEVFusion只需要12个epoch左右。BEVFusion的训练成本相对友好。深度估计分支可以预训练激光雷达分支也可以预训练两个分支分开训练再联合微调显存占用和训练时间都更可控。而且因为不依赖注意力机制它对训练硬件的要求更低单卡3090就能跑起来。部署方面BEVFormer的注意力计算在推理时也是瓶颈。我实测在Orin上BEVFormer的单帧推理延迟在120ms左右而BEVFusion在80ms左右。如果你对实时性要求高比如需要跑到10Hz以上BEVFusion的部署压力更小。但BEVFormer也在优化比如用TensorRT的注意力插件、降低BEV网格分辨率等可以压到100ms以内。2.5 差异点五对数据集和标注的依赖程度BEVFormer对标注的依赖更“重”。因为它没有显式的深度监督网络需要从检测损失中隐式学习深度信息这意味着你需要大量的、高质量的3D标注数据。nuScenes有1000个场景、4万帧标注数据BEVFormer才能训出好效果。如果你的数据集规模小BEVFormer很容易过拟合。BEVFusion对标注的依赖更“轻”。因为激光雷达提供了精确的深度信息相机分支的深度估计可以通过激光雷达点云做自监督训练不需要额外的深度标注。这意味着你可以在标注数据较少的情况下用激光雷达点云做辅助训练降低对人工标注的依赖。我试过用1/4的标注数据训练BEVFusion精度只掉了3个百分点而BEVFormer在同样数据量下掉了8个百分点。3. 实操选型指南什么场景选什么方案3.1 场景一L2辅助驾驶成本敏感如果你的项目是L2级别的辅助驾驶比如高速领航辅助、自动泊车预算有限不想加激光雷达那BEVFormer是更合适的选择。纯视觉方案的成本优势明显而且L2场景对安全冗余的要求没有L4那么高纯视觉的短板可以通过增加相机分辨率、优化时序融合来弥补。具体配置建议6路相机分辨率至少1920×1080帧率30fpsBEV网格分辨率建议200×200网格大小0.5m时序融合用3帧历史太多会拖慢推理速度。训练时用nuScenes或自建数据集至少500个场景起步。3.2 场景二L4自动驾驶安全优先L4级别的自动驾驶比如Robotaxi、无人配送车对安全冗余要求极高必须加激光雷达。这时候BEVFusion是更稳妥的选择。激光雷达提供的深度信息在夜间和恶劣天气下是纯视觉方案无法替代的而且多模态融合本身就是一种冗余设计。具体配置建议1个32线或64线激光雷达6路相机分辨率1280×960即可因为激光雷达补足了深度信息BEV网格分辨率建议300×300网格大小0.4m融合策略建议用通道拼接注意力加权比简单拼接效果好3-5个百分点。3.3 场景三学术研究快速出成果如果你是在做学术研究需要快速发论文或做原型验证BEVFusion的复现难度更低训练成本更小更容易在有限的计算资源下跑出结果。而且BEVFusion的开源生态更活跃GitHub上的issue响应更快社区支持更好。但如果你研究的方向是纯视觉感知、注意力机制、时序建模那BEVFormer更有研究价值因为它的设计更“优雅”有更多可以改进的空间。比如你可以尝试改进空间交叉注意力的采样策略、优化时序融合的对齐方式等。3.4 场景四量产落地工程化优先量产落地最看重的是稳定性和可维护性。BEVFusion的模块化设计更利于工程化相机分支和激光雷达分支可以独立调试、独立优化出了问题也容易定位。BEVFormer的端到端设计虽然优雅但一旦出问题排查起来很痛苦因为注意力权重是黑盒你很难解释为什么某个物体没检测到。另外BEVFusion对推理硬件的兼容性更好TensorRT、ONNX等部署工具链的支持更成熟。BEVFormer的注意力算子在部署时经常遇到算子不支持的问题需要自己写插件增加了工程复杂度。4. 常见问题与排查技巧实录4.1 BEVFormer训练不收敛怎么办这是我最常被问到的问题。BEVFormer训练不收敛90%的情况是学习率设置不对。BEVFormer对学习率非常敏感建议用AdamW优化器初始学习率设为2e-4配合余弦退火调度。如果loss震荡严重先把学习率降到1e-4等loss稳定后再逐步升回去。另一个常见原因是BEV网格分辨率设得太高。有些同学一上来就设400×400显存直接爆了然后被迫减小batch size导致训练不稳定。建议从200×200开始等训练稳定后再逐步提高分辨率。还有一个坑是时序融合的帧数。BEVFormer默认用4帧历史但如果你数据集帧率低比如只有10fps4帧历史跨度太大运动补偿会不准。建议根据帧率调整30fps用4帧10fps用2帧就够了。4.2 BEVFusion的深度估计不准怎么调BEVFusion的深度估计不准通常有两个原因一是深度预训练模型和你的数据集不匹配二是深度估计的监督信号太弱。解决方法先用激光雷达点云做自监督预训练让深度估计分支适应你的数据分布然后在联合训练时给深度估计分支加一个辅助损失权重设为0.1-0.3不要太高否则会压制检测损失。另外深度估计的范围设置也很关键。nuScenes数据集的最大深度是80m但如果你做的是高速场景需要检测200m以外的物体深度范围要相应扩大。但扩大深度范围会降低近距离的深度精度需要权衡。我的经验是城区场景设60m高速场景设120m再远就用激光雷达补。4.3 两个方案在Orin上的部署对比Orin是目前主流的车载计算平台我分别在Orin上部署过这两个方案这里给一些实测数据。指标BEVFormerBEVFusion单帧推理延迟120ms80ms显存占用6.5GB4.2GB功耗45W38WTensorRT支持需自定义注意力插件原生支持INT8量化难度高注意力对量化敏感中深度估计对量化较鲁棒从部署角度看BEVFusion的优势明显。BEVFormer的注意力算子在TensorRT里没有原生支持需要自己写插件而且INT8量化后精度掉得厉害建议用FP16。BEVFusion的深度估计分支可以量化到INT8精度损失在1%以内。4.4 数据集准备有哪些坑第一个坑是相机标定。BEVFormer和BEVFusion都对相机内外参非常敏感标定误差超过0.5度BEV特征就会明显偏移。建议用专业的标定工具标定后做重投影误差验证误差控制在0.3像素以内。第二个坑是时间同步。多传感器融合方案对时间同步要求极高相机和激光雷达的时间戳偏差超过10ms融合效果就会大打折扣。建议用硬件触发同步软件同步至少要做到5ms以内。第三个坑是数据增强。BEV方案的数据增强和2D检测不一样不能随便做随机裁剪和旋转因为会破坏相机之间的几何一致性。建议只做颜色抖动、亮度调整、随机翻转水平翻转要同步调整相机外参。5. 我的实际选型经验和建议5.1 从项目阶段出发做选择如果你还在原型验证阶段建议先用BEVFusion。原因很简单复现快、训练成本低、社区支持好。我见过太多团队一上来就啃BEVFormer结果卡在训练不收敛上浪费了两三个月。BEVFusion的模块化设计让你可以快速跑通整个pipeline先验证业务逻辑再优化感知精度。等原型验证通过进入量产开发阶段再根据成本和安全要求决定是否切换到BEVFormer。如果成本敏感且场景简单BEVFormer的纯视觉方案更有优势如果安全要求高且预算充足BEVFusion的多模态融合更稳妥。5.2 从团队能力出发做选择BEVFormer对团队的技术栈要求更高。你需要有懂Transformer、懂注意力机制、懂时序建模的算法工程师还需要有能做TensorRT插件开发的部署工程师。如果团队里没有这些人BEVFormer的落地会非常痛苦。BEVFusion对团队的要求更“友好”。它的技术栈更接近传统的多传感器融合方案团队里如果有做激光雷达感知的工程师上手会很快。而且它的模块化设计让分工更明确相机分支、激光雷达分支、融合模块可以分给不同的人做。5.3 从长期演进角度做选择从技术趋势看BEVFormer代表的纯视觉注意力方案是更“未来”的方向因为它的上限更高随着数据量和模型规模的增加性能还有很大提升空间。特斯拉的FSD就是纯视觉BEV方案的典型代表证明了这条路是走得通的。但BEVFusion代表的多模态融合方案在当下更“务实”因为它在各种场景下的鲁棒性已经得到了验证而且激光雷达的成本在快速下降未来几年内多模态融合方案的性价比会越来越高。我的建议是如果你做的是长期项目团队有足够的技术储备可以押注BEVFormer方向持续投入如果你做的是短期项目需要快速落地BEVFusion是更稳妥的选择。5.4 一个容易被忽略的细节BEV网格的坐标系定义最后分享一个我在实际项目中踩过的坑BEV网格的坐标系定义。BEVFormer和BEVFusion对BEV网格的原点定义不一样。BEVFormer默认原点在车辆后轴中心BEVFusion默认原点在车辆几何中心。如果你在两个方案之间切换一定要记得调整坐标系定义否则检测框的位置会整体偏移。这个坑我在一个项目里踩过当时从BEVFormer切换到BEVFusion做对比实验发现检测框整体往前偏了1.5米排查了一天才发现是坐标系原点定义不同。后来我在代码里加了一个坐标变换层统一用后轴中心作为原点问题就解决了。另外BEV网格的朝向定义也要注意。有些方案定义x轴朝前、y轴朝左有些定义x轴朝右、y轴朝前。这个差异会导致检测框的朝向角差90度在可视化的时候特别明显。建议在项目初期就统一坐标系定义写进团队的技术规范里避免后期返工。这两个方案我都实际跑过完整流程从数据准备到训练到部署每个环节都有各自的坑。选型没有绝对的对错关键是要匹配你的项目需求、团队能力和预算约束。如果你拿不准可以先花一周时间把两个方案都在小规模数据上跑一遍用实际数据做决策比看论文和博客靠谱得多。
