CVPR27方向预测——让卫星成为多智能体的“通用语言”基于CrossGeo的空中-地面协同感知与决策数据集与Pipeline仓库https://github.com/ZhongyaoTuo/crossgeo论文链接https://arxiv.org/abs/2605.07978Cross3R模型代码待开源独立于数据集仓库一、一个被AGCS失败分析暴露的根本矛盾空中-地面协同系统Air-Ground Collaborative Systems, AGCS正在经历从“程序化执行”到“自主推理”的范式转变。无人机提供全局鸟瞰视野无人地面车辆UGV提供局部第一人称视角两者协同可以完成远超单一平台能力的感知与决策任务。2026年的AGCS综述系统梳理了协同架构设计、多源传感器融合、主动感知策略、多智能体规划与决策、运动控制五个技术维度标志着这一领域正在从分散的方法论走向系统化的工程实践。但当你仔细追问一个根本性的问题——UAV和UGV到底在哪个坐标系中进行协同——答案暴露了一个长期存在的结构性缺陷。AGC-VLN2026是首个UAVUGV协同视觉语言导航系统。它使用UAV的全局鸟瞰视图和UGV的局部第一人称视图通过共享鸟瞰图Shared Bird’s-Eye Map实现协同UAV在其全局视图中渲染UGV报告的位姿和VLM锚定的目标UGV从该地图获取全局空间上下文来规划路径。在CARLA-Air的Town10HD场景中AGC-VLN达到77.0%的联合成功率比最强的单智能体基线Travel UAV53.0%高出24个百分点。但这个系统的失败分析揭示了一个更深层的结构性问题。UAV的失败主要源于全局定位76%而UGV的失败主要源于路径规划60%UGV能够挽救UAV 50次失败中的27次反之仅能挽救2次。这意味着UAV的全局定位精度是整个协同系统的瓶颈。共享鸟瞰图虽然提供了“一个地图”但地图本身的全局参考框架仍然是UAV的初始位姿——如果UAV的初始定位有偏差整个共享地图都会偏移。AirGroundBench2026在UAV-UGV异构协作场景中发现了同样的模式。这个基准构建于11个高保真仿真环境包含1,021组同步的空地观测对生成约62,000个双视角VQA实例和115个闭环VLN回合。评估13个代表性MLLM后发现模型在空间感知上表现尚可但在跨视角对齐和变换密集型推理上遭遇瓶颈且这些缺陷会传播到后续的序列决策中。论文明确指出异构空-地系统的核心挑战是尺度不匹配、遮挡不对称和参考坐标系不一致。与此同时COPA2026从控制角度揭示了另一个层面的问题。传统的空中-地面协同需要实时UAV-UGV相对状态信息通常依赖两个机器人的全局位姿估计。COPA提出了一种“全球状态自由”global-state-free的控制框架使用单轴云台解耦相机光轴与UAV俯仰姿态通过时间卷积网络预测UGV的短期运动用MPC联合优化UAV和云台控制。这个设计的意义在于如果不需要全局状态就能实现协同那么协同的精度上限就受限于相对状态的估计精度——而相对状态的估计在长期运行中会累积漂移。这些发现指向同一个结论AGCS的根本瓶颈不是“协同策略不够好”而是“缺乏一个共享的、全局一致的、度量准确的参考坐标系”。现有系统要么依赖UAV的初始位姿作为全局参考AGC-VLN要么依赖GNSS等外部定位基础设施COPA的初始阶段要么完全工作在相对坐标系中多智能体SLAM。当GNSS不可用或UAV初始定位有偏差时整个协同系统的性能就会系统性退化。CrossGeo提供了一种此前不存在的解决方案一个天然具有三视角6自由度几何标注的数据集以及一个可复用的跨视角数据采集pipeline。将其嵌入多智能体协同感知与决策的循环中可以构建一个以卫星图像为全局锚点的协同框架——卫星图不再仅仅是“俯视先验”而是多智能体系统的“通用坐标系”。二、相关工作图谱空中-地面协同的技术版图2.1 协同架构与范式AGCS的协同架构正在经历从“主从式”到“对等式”再到“LLM驱动式”的演变。最新的综述将这一演变概括为三阶段范式转换从程序化执行到基于优化的协同再到MLLM驱动的自主感知与决策。在优化驱动的范式中Air-Ground Collaborative Multi-Target Detection将协同任务建模为混合整数线性规划问题用分支定界结合改进遗传算法求解最优任务分配和路径规划。在LLM驱动的范式中语言引导的异构团队通过语义-度量地图进行推理成功展示了公里级城郊导航。2.2 协同定位与参考框架协同定位是AGCS的基础设施层。传统方法依赖GNSS、UWB或视觉标记来实现UAV和UGV之间的相对定位。COPA提出了全球状态自由的视觉相对位姿估计通过被动标记和主动感知控制实现鲁棒的UAV-UGV相对状态估计。在GNSS拒止环境中分布式协同定位方法通过共享INS数据、GNSS伪距和机会信号伪距来维持定位精度。但这些方法的共同前提是至少有一个智能体拥有可靠的全局定位其他智能体通过相对测量来传递和维持全局一致性。2.3 协同感知与目标交接跨视角目标交接是AGCS的核心能力之一。PATH2026提出了一个平台无关的几何辅助感知与验证框架用于两个移动UAV之间的目标交接。其核心机制是“互协议握手”Mutual Agreement Handshake接收方基于发送方的目标位置生成候选观测传回发送方进行跨视角验证通过后才转移追踪责任。在UAV-UGV场景中多视角行人目标匹配的后融合策略通过匈牙利算法实现跨视角目标关联。VLM-Guided Cross-View Matching则利用视觉语言模型引导地面到空中的跨视角匹配和定位。2.4 协同SLAM与3D重建多机器人协同SLAM正在从传统特征点方案向3DGS方案演进。CGS-SLAM提出了混合去中心化/中心化的多智能体3DGS SLAM系统仅使用RGB和惯性数据。MAGS-SLAM实现了首个仅用RGB视频的多智能体高斯泼溅SLAM无需深度传感器。HAMMER通过ROS通信基础设施从异步机器人数据流生成3D度量-语义地图。这些系统的共同挑战是如何在多个智能体之间维护全局一致的场景表示——3DGS的显式表示天然适合增量更新但跨智能体的尺度对齐和位姿一致性仍然是开放问题。2.5 现有工作的共同缺口综合以上脉络可以识别出三个未被填补的缺口缺口一缺乏不依赖外部基础设施的全局参考框架。现有AGCS的全局参考要么来自GNSS在拒止环境中失效要么来自某个智能体的初始位姿在长期运行中漂移要么来自预构建的地图需要预先扫描。没有一个系统利用公开可得的卫星图像作为“免费的”全局参考框架。缺口二跨视角对齐与多智能体协同的割裂。AirGroundBench揭示了跨视角对齐是MLLM在异构协作中的核心瓶颈AGC-VLN的共享鸟瞰图部分缓解了这个问题但跨视角对齐仍然是一个“感知层”的问题而非“基础设施层”的问题。如果每个智能体都能通过卫星图获得全局一致的6自由度位姿跨视角对齐就从“推理任务”降级为“查询操作”。缺口三缺乏面向大规模户外场景的多智能体协同基准。AirGroundBench构建于仿真环境覆盖11个场景但均为模拟数据。COSMIC局限于室内场景。没有一个基准提供真实世界的大规模户外多智能体协同评估环境更不用说附带完整6自由度标注和可扩展采集pipeline的基准。三、技术方案SAGA — Satellite-Anchored Ground-Air Collaboration3.1 系统架构总览本文提出的框架暂命名为SAGA的核心思想是将CrossGeo的卫星图像作为多智能体系统的全局度量参考坐标系每个智能体通过Cross3R的跨视角6自由度定位能力获得在卫星坐标系下的绝对位姿从而在共享的卫星坐标系中进行协同感知、目标交接和路径规划。系统包含四个协同模块模块一卫星锚定层Satellite Anchor Layer。这是系统的核心创新。每个智能体UAV和UGV都配备一个轻量级的跨视角定位模块输入是其当前视角的图像UAV俯视图或UGV第一人称视图和一张卫星图瓦片输出是该图像在卫星坐标系下的6自由度位姿和尺度因子ρ。Cross3R的前馈能力使得这个定位可以近实时地执行在采样子集上而CrossGeo提供的全球覆盖确保了定位模块可以在任意地点部署。关键设计是分层锚定策略UAV首先通过Cross3R获得卫星坐标系下的粗略位姿因为UAV的俯视图与卫星图视角差异较小定位更可靠然后将该位姿作为先验传递给UGVUGV通过地面-卫星跨视角匹配进行精化。这种分层策略利用了UAV作为“中间尺度”的优势降低了UGV跨视角匹配的搜索空间。模块二共享度量地图Shared Metric Map。所有智能体在卫星坐标系中维护一个共享的语义-度量地图。地图的基本表示是BEV鸟瞰图语义栅格每个栅格单元包含语义标签道路、建筑、植被、可通行区域、高度估计来自Cross3R的点云、以及置信度。UAV通过俯视图更新地图的全局结构UGV通过第一人称视图更新地图的局部细节和可通行性信息。与AGC-VLN的共享鸟瞰图的关键区别在于SAGA的地图锚定在卫星坐标系中而非UAV的初始位姿中。这意味着即使UAV的初始定位有偏差地图的全局参考框架仍然是稳定的——偏差只影响UAV自身的地图更新不会污染整个共享地图的坐标系。模块三跨视角目标交接Cross-View Target Handover。当UGV在局部视野中发现一个目标物体时系统通过以下流程实现目标交接UGV通过Cross3R将目标位置映射到卫星坐标系得到目标在卫星图上的位置和朝向系统在共享度量地图中标记该目标并计算UAV到达目标区域的最优观测视角UAV飞到指定视角通过跨视角匹配确认目标身份类似于PATH的互协议握手确认后追踪责任从UGV转移到UAV与PATH的区别在于SAGA在卫星坐标系中维护目标位置而非在发送方的图像坐标系中。这意味着目标位置在交接过程中不依赖于任何智能体的当前位姿即使UGV和UAV的通信中断系统仍然可以通过卫星坐标恢复目标位置。模块四卫星约束的协同决策Satellite-Constrained Cooperative Decision。多智能体的路径规划和任务分配在卫星坐标系中进行。卫星图提供了全局的可通行性先验道路网络、建筑布局、地形坡度UAV提供了实时的全局态势感知UGV提供了局部的精细可通行性信息。决策模块将这三层信息融合生成每个智能体的最优动作。3.2 三个核心任务设计基于CrossGeo的三视角数据和SAGA的架构可以设计以下三个具有明确差异化价值的协同任务任务一卫星锚定的多智能体协同定位。给定多架UAV和多辆UGV的观测利用Cross3R的6自由度定位能力将它们统一到卫星坐标系中。评估指标包括每个智能体在卫星坐标系下的位置和朝向误差、智能体之间的相对位姿误差、以及协同定位精度随智能体数量、视角多样性和场景复杂度的变化。核心创新点在于将卫星图像作为多智能体系统的“全局坐标系”而非依赖GNSS或UWB等外部定位基础设施。与现有的卫星辅助协同定位方法如Satellite-Aided Multi-UAV Secure Collaborative Localization通过时空异常检测提升25.9%的定位精度的区别在于SAGA利用的是卫星图像的视觉信息而非卫星信号——这意味着它不依赖卫星导航信号的可用性。任务二跨视角目标交接与协同追踪。当UGV在局部视野中发现目标后系统通过卫星坐标系将目标位置传递给UAVUAV飞到指定区域进行确认和持续追踪。核心挑战在于动态目标在跨视角坐标系中的位置一致性——UGV观测到目标时目标在位置AUAV到达时目标可能已移动到位置B系统需要在卫星坐标系中维护目标轨迹并预测其运动。这个任务与PATH的关键区别在于PATH在两个UAV之间交接视角差异较小SAGA在UGV和UAV之间交接视角跨越了从第一人称1.5米高度水平视角到鸟瞰30-120米高度俯视角度的巨大变化。Cross3R的6自由度定位能力使得这种跨尺度交接成为可能。任务三基于共享卫星地图的协同导航与探索。多智能体在卫星坐标系中维护共享的语义-度量地图每个智能体根据自己的视角更新地图的相关区域其他智能体可以查询地图来规划路径。任务设定包括从卫星图上指定的起点导航到终点、在未知区域进行协同探索、以及在通信受限条件下维持地图一致性。与AGC-VLN的区别在于AGC-VLN的共享鸟瞰图是UAV单方面生成的UGV只是“消费者”SAGA的共享地图是双向更新的——UGV的可通行性信息可以反馈给UAV来优化其飞行路径UAV的全局态势可以指导UGV的局部规划。3.3 实验设计基准构建。基于CrossGeo的跨大陆测试集5个场景3,726个样本构建SAGA-Bench。每个场景生成约50个协同任务覆盖三类任务总计约250个任务。任务生成采用混合策略部分由程序化模板生成以确保几何正确性部分由GPT-4V辅助生成并经人工审核。评估指标。除常规的任务成功率外重点关注全局定位精度每个智能体在卫星坐标系下的位置和朝向误差协同增益Collaboration Gain多智能体协同相对于最佳单智能体的性能提升幅度借鉴AGC-VLN的评估协议地图一致性分数多个智能体维护的共享地图在重叠区域的一致性交接成功率与延迟目标交接从发起到达成的成功率和时间延迟对比基线。包括AGC-VLN共享鸟瞰图协同VLN、AirGroundBench的最佳MLLM配置、COPA全球状态自由控制、以及基于GNSS的理想协同方案。消融实验重点验证(a) 卫星锚定的贡献对比不锚定的相对坐标系协同(b) 分层锚定策略的贡献对比UAV和UGV各自独立锚定© 共享度量地图的双向更新贡献。四、创新点创新点一首个以卫星图像为全局参考框架的多智能体协同系统现有AGCS的全局参考要么来自GNSS拒止环境中失效要么来自某个智能体的初始位姿长期运行中漂移要么来自预构建地图需要预先扫描。SAGA是首个将公开可得的卫星图像作为多智能体系统“免费全局参考框架”的框架。卫星图不依赖任何外部基础设施覆盖全球且提供了度量准确的物理尺度。这与Satellite-Aided Multi-UAV等利用卫星信号的方法有本质区别——SAGA利用的是卫星图像的视觉信息。创新点二分层跨视角锚定策略UAV和UGV的跨视角定位难度不同UAV的俯视图与卫星图的视角差异较小定位相对可靠UGV的第一人称视图与卫星图的视角差异巨大定位难度更高。SAGA的分层锚定策略利用UAV作为“中间尺度锚点”先用UAV的粗略定位缩小搜索空间再引导UGV的精确定位。这个设计直接利用了CrossGeo三视角设定中无人机作为“中间人”的几何优势。创新点三卫星坐标系中的跨视角目标交接PATH等现有方法在发送方的图像坐标系中交接目标这意味着交接过程依赖于发送方的当前位姿。SAGA将目标位置映射到卫星坐标系中使得交接过程不依赖于任何智能体的当前位姿。即使通信中断或智能体位姿发生漂移系统仍然可以通过卫星坐标恢复目标位置。这个设计从根本上提高了目标交接的鲁棒性。创新点四基于CrossGeo pipeline的可扩展协同评估CrossGeo的采集pipeline使得SAGA-Bench可以按需扩展。研究者可以用同一套pipeline采集特定城市、特定地形如山区、工业区、灾害现场的三视角数据验证SAGA在不同地理和任务环境下的泛化能力。这与AirGroundBench局限于仿真环境、COSMIC局限于室内场景形成了方法论上的差异。五、面临的挑战与开放问题挑战一跨视角定位的计算开销与协同实时性。Cross3R的前向传播需要数秒到数十秒而协同系统可能需要每个智能体以10Hz以上的频率更新位姿。解决方案包括缓存已计算的6自由度位姿、仅在关键帧上运行跨视角定位、以及在低置信度时回退到相对定位。挑战二动态目标的跨视角交接延迟。从UGV发现目标到UAV确认目标可能经历数秒到数十秒的延迟。在此期间目标可能移动。系统需要在卫星坐标系中维护目标轨迹并预测其运动这需要引入目标运动模型和轨迹预测模块。挑战三通信受限条件下的地图一致性。多智能体之间的通信可能间歇性中断。如何在通信恢复后快速对齐各自维护的共享地图是一个需要分布式一致性协议的问题。卫星坐标系提供了一个天然的“共同参考点”但地图的语义内容和置信度需要在通信恢复后进行融合。挑战四Cross3R代码尚未开源。如果Cross3R代码在投稿截止前仍未发布可以用CrossGeo数据训练一个轻量级的跨视角定位网络作为锚定层的替代实现。CrossGeo数据集的先行开源使这一路径完全可行。六、发表策略建议目标会议CVPR / ICCV / IROS / CoRL若强调机器人系统。论文标题建议“SAGA: Satellite-Anchored Ground-Air Collaboration via Cross-View 6-DoF Localization”核心贡献的表述框架首个以卫星图像为全局参考框架的多智能体空中-地面协同系统分层跨视角锚定策略利用UAV作为中间尺度锚点引导UGV精确定位卫星坐标系中的跨视角目标交接方法及其鲁棒性分析在CrossGeo跨大陆测试集上的全面评估与消融实验风险与应对风险一与AGC-VLN的竞争。AGC-VLN已经在协同VLN任务上建立了训练-free基线。SAGA需要在“卫星锚定”和“多智能体”两个维度上建立清晰的差异化。建议在论文中做一个系统性的对比表明确展示SAGA在全局参考框架、跨视角交接、可扩展性等维度上的独特性。风险二AirGroundBench的基准竞争。AirGroundBench提供了UAV-UGV协同的空间智能诊断基准。SAGA-Bench的差异化在于“真实世界户外场景卫星锚定可扩展pipeline”。建议在论文中系统性地对比AirGroundBench在场景真实性、标注类型、扩展能力等维度上的局限。风险三Cross3R代码未开源。如前所述可以用CrossGeo数据训练轻量级跨视角定位网络作为替代实现。结语空中-地面协同系统正在从“程序化执行”走向“自主推理”但无论范式如何演变一个根本性的问题始终存在多个智能体到底在哪个坐标系中“说同一种语言”AGC-VLN用共享鸟瞰图给出了一个答案但鸟瞰图锚定在UAV的初始位姿中会随UAV漂移。AirGroundBench揭示了跨视角对齐是MLLM的核心瓶颈但将这一问题留在了“感知层”而非“基础设施层”。COPA用全球状态自由控制回避了全局坐标系问题但代价是相对状态的累积漂移。SAGA的核心思想可以概括为一句话让卫星图像成为多智能体系统的“通用语言”。卫星图不依赖任何外部基础设施覆盖全球提供度量准确的物理尺度且可以通过CrossGeo的pipeline按需采集。当每个智能体都能够在卫星坐标系中“说出自己的位置”时协同感知、目标交接和路径规划就从“跨视角对齐问题”降级为“坐标查询操作”。项目链接https://github.com/ZhongyaoTuo/crossgeo论文链接https://arxiv.org/abs/2605.07978Cross3R模型代码待开源独立于数据集仓库
