如果你手头有一台无人机最想做的第一件事大概率就是把它拍回来的素材变成真正能训练模型的输入。但越是接触得久越会发现无人机航拍数据集整理这件事本身就是一个完整工程甚至比后面跑模型还要磨人。我最初从网上东拼西凑找公开数据集发现格式五花八门自采数据回来后又是一堆没法直接标注的原始影像折腾了大半年才把一条相对稳定的整理流水线固化下来。这篇博文就是把我踩过的坑、用过的工具、以及最终沉淀下来的完整流程讲一遍给正在做无人机目标检测、语义分割、农田监测或巡检项目的朋友做个参考。1. 数据从哪来公开数据集和自采数据怎么权衡1.1 常见公开无人机航拍数据集先把公开数据集摸一遍因为很多人第一步就走错了方向。无人机航拍数据集的场景分布非常分散有的是正射视角有的是倾斜视角有的是视频序列用的是不同标注格式拿回来直接用的概率其实很低。我按任务场景把常用的几个列出来数据集任务类型图像数量标注格式特点VisDrone目标检测/跟踪约10209张静态图水平框车辆、行人、三轮车等经典无人机视角DOTA旋转框检测V1.0约2806张四角点OBB15类船舶、车辆等适合旋转目标DIOR目标检测1926张水平框20类遥感大场景xView目标检测超过100万实例水平框高分辨率遥感影像量大但分辨率差异大Agriculture-Vision语义分割约21000张像素级掩码农田杂草、虫害、异常区域农田场景首选UAVDT车辆检测/跟踪约8万帧视频水平框城市街区车辆跟踪ICVL高光谱数据集高光谱分类/超分辨率多组HSI像素级热词里提到的适合高光谱相关研究选型逻辑很简单做车辆、行人检测先从VisDrone或UAVDT起步做旋转框检测或细长目标像船舶、农机这类直接学DOTA和mmrotate做农田语义分割Agriculture-Vision是质量很高的选择。别一上来就追求数据量先看你任务需要的标注形态能不能对得上。1.2 自采数据的采集参数与规范自采数据看起来自由但往往是最容易返工的环节。我踩过的第一个大坑是飞完回来才发现影像规格不一致有的带畸变有的过曝有的重叠率太高整理起来非常痛苦。所以现在每次飞之前我都会先把采集参数定死。飞行高度直接决定目标尺度也影响GSD地面采样距离。GSD的估算公式很简单GSD 传感器像元尺寸 × 飞行高度 / 镜头焦距。比如某相机的像元尺寸是2.4微米镜头焦距是24毫米飞行高度120米那GSD就是2.4 × 120 / 24 12毫米也就是一个像素对应地面1.2厘米。如果做小目标检测先算清楚这个值别让目标在图中只有三五个像素后面标注和训练都会很吃力。重叠率也要提前规划。做三维建模航向重叠率最好70%-80%旁向重叠率60%以上但做目标检测数据集不需要这么高的重叠率否则相邻影像内容几乎一样白白增加数据量。我的习惯是航向重叠率控制在20%-30%左右这样既能保证场景连续性又不会出现大量重复样本。采集时间窗口建议放在上午9点到下午4点之间。正午顶光会让阴影特别短目标纹理细节丢失傍晚低角度光线又会产生很长的阴影标注边界时容易判错。云台角度也要固定一个主方案正射视角和45度倾斜视角混合采集是可以的但必须做好元数据记录后期方便按角度分组分析。1.3 下载渠道与版本管理公开数据集的下载渠道除了项目官方GitHub还可以看Papers with Code页面那里一般会汇总官方下载链接。Kaggle和飞桨AI Studio上也有不少镜像或第三方整理版本适合网络条件不方便的情况。Hugging Face上同样挂了很多遥感数据集热词里提到了从hugging face下载数据集其实就是在Dataset页面搜索remote sensing或uav找到后直接datasets库读取或者看repo里的文件结构手动下载。这里一定要提许可问题。VisDrone官方明确写着research only商用必须联系作者申请DIOR和部分遥感数据集的授权条款也偏学术。如果你要投产商用模型下载前逐条看license别等模型上线了才发现数据授权有问题。自采数据则要留意人脸、车牌这些可识别信息公开发布前需要打码或模糊处理这个不能偷懒。版本管理方面每一批数据我都坚持保留原始文件然后在整理后用新的目录结构生成一份精炼版。别在原地修改原始文件否则后面想回溯某个处理步骤时完全没有办法。2. 原始影像清洗剔废片、去条纹、畸变矫正一条龙2.1 清晰度、曝光和重叠率的筛选标准无论公开数据还是自采数据拿到手的第一步永远是清洗。公开数据集基本已经清理过但自采影像里一定混杂着大量不值得进入训练集的废片。清晰度我用拉普拉斯方差来量化。OpenCV里几行代码就能算import cv2 def sharpness_score(img_path): img cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) return cv2.Laplacian(img, cv2.CV_64F).var()拉普拉斯方差是经典的无参考清晰度指标小于阈值就说明图像太模糊。阈值的选取需要根据图像分辨率调整我的经验是3000万像素级别的航拍原图阈值放在40-60之间比较合理如果做了压缩或缩放阈值要重新标定。另一种更贴近无人机实际场景的方法是多尺度对比把图像缩小到1000像素宽再算方差因为影响模型训练的是主要纹理结构而不是单像素噪声。曝光检查别只看直方图的均值和方差要看极端亮度像素的占比。我会统计灰度值大于250和小于5的像素比例如果单张图里超过15%的像素落在这两个区间基本可以判断为过曝或欠曝。这样的图要么剔除要么必须做曝光校正后统一到训练流程里。重叠率判断是另一个容易被忽视的点。我记得第一次抽帧时每隔5秒取一帧结果训练集里全是高度相似的重复目标模型对个别位置过拟合严重。后来改成基于GPS坐标和位姿信息抽帧飞行速度大概10米/秒时每隔2-3秒抽一帧比较合适。没有GPS信息时可以用图像检索的思路用ORB特征加单应性变换估计相邻两帧的重叠面积重叠超过70%就跳过。2.2 条带噪声的分析与去除热词里专门提到了envi怎么对单张无人机影像去条纹说明条带噪声是无人机影像处理的高频痛点尤其是热红外传感器或部分推扫式相机成像时会出现水平或垂直的周期条带。很多人的第一反应是直接上中值滤波我最初也这么干过结果把温度边缘信息抹得一塌糊涂。条带噪声的本质是传感器行读出响应不一致在频域上表现为频谱图中一条贯穿的亮线。正确的处理思路是先去频域确认噪声特征再做定向抑制。用OpenCV做DFT分析的方法并不复杂import cv2 import numpy as np img cv2.imread(thermal_striped.jpg, cv2.IMREAD_GRAYSCALE) dft cv2.dft(np.float32(img), flagscv2.DFT_COMPLEX_OUTPUT) dft_shift np.fft.fftshift(dft) magnitude np.log(1 cv2.magnitude(dft_shift[:,:,0], dft_shift[:,:,1]))观察幅度谱如果看到一条水平亮线说明条带是垂直方向的周期噪声。接下来构造陷波滤波器只把这条亮线对应的频率分量压制掉其他频率全部保留再做逆变换。这样处理完条带消失的同时图像纹理细节基本无损。如果条带比较均匀、强度不高的场景也可以直接用ENVI的DESTRIPE工具它本质上是统计每一行的响应偏差并归一化适合多光谱和遥感影像但用在无人机可见光影像上需要谨慎测试。处理完成后一定要做差异检查把处理前后的图像逐像素相减确保除了条带区域之外没有引入系统性偏差。2.3 镜头畸变矫正的必要性无人机镜头普遍是广角边缘畸变很明显。整理数据集时是否做畸变矫正取决于任务类型。如果做障碍物检测、精准定位、测量类任务这一步绕不开如果只做粗略分类或者模型对形变不敏感可以省掉但必须保证训练集和测试集用的是同一种处理流程。畸变矫正的经典模型是Brown-Conrady模型径向畸变系数k1、k2、k3和切向畸变系数p1、p2共同描述像素偏移。在OpenCV里先拍棋盘格标定板采集20张以上覆盖画面中心和边缘的图片用cv2.calibrateCamera拿到内参矩阵和畸变系数再对全图做cv2.undistort。大疆部分专业机型导出的影像会在EXIF里附带畸变参数理论上可以直接用但我实际处理时发现不同固件版本的表现不完全一致稳妥起见还是自己标定一遍。这里有一个非常关键的注意点畸变矫正必须在标注之前完成。标注框是跟像素坐标绑定的如果先标注再矫正所有框都得跟着重新映射非常容易出错。所以我的流水线是先清洗、再矫正、最后才进入标注环节顺序不能反。3. 标注规范与格式统一从坐标转换到多轮质检3.1 水平框、旋转框与分割掩码的选择标注形态直接决定了后续训练框架的选择。无人机航拍视角下目标通常是从上往下看到的车辆、船舶、农机这类长宽比很大的目标用水平框会包裹大片背景导致检测器学到很多无关特征。这时候旋转框OBB明显更合适DOTA数据集就是这么设计的mmrotate也提供了一整套旋转框检测方案。如果是车辆检测、行人检测这类常规任务用水平框完全够用YOLO系列可以直接开训。但要注意如果数据集里目标角度分布极不均匀比如全部是正南正北方向模型可能学不到旋转不变性训练完成后遇到其他朝向的目标会漏检。这种情况下就算用水平框也建议在增强阶段加入旋转增强。农田语义分割这类像素级任务走的不是检测框而是掩码标注。热词里提到的无人机农田语义检测识别通常需要区分作物行、杂草、病害区域、裸土等类别。这种标注工作量远大于目标框但信息量也大得多做病虫害识别或精准施药的落地项目必须用分割标注。3.2 标注工具选型工具选型我对比过好几轮给一个简单结论单人小项目LabelImg或X-AnyLabeling就够用多人协作、需要旋转框直接上CVAT需要逐像素画多边形分割labelme是好选择。工具适用标注特点推荐场景LabelImg水平框轻量、稳定、支持YOLO/VOC个人项目快速起步X-AnyLabeling水平框/多边形集成自动标注辅助需要半自动辅助的检测任务labelme多边形掩码JSON格式转换稍费事语义分割CVAT水平框/旋转框/多边形支持团队协作、自动标注插件中型以上项目roLabelImg旋转框基于LabelImg的旋转框版本旋转框标注起步CVAT里标注旋转框时需要注意角点顺序的一致性DOTA要求四个角点按顺时针排列。对于旋转框来说如果标注时不规范后期转换成其他格式很容易出现形状错乱。我把角点排序规则写在团队标注规范里并写了一个自动校正脚本来检查每一条标注的角点顺序。3.3 格式转换的长见错误标注格式的坐标系看起来简单实际转换时却很容易翻车。YOLO格式存储的是归一化后的中心点坐标和宽高COCO是像素绝对坐标DOTA是四角点像素坐标三者之间的换算并不难但要小心几个隐藏坑。YOLO转COCO的核心公式x_pixel x_center_norm × image_widthy_pixel y_center_norm × image_heightw_pixel w_norm × image_widthh_pixel h_norm × image_height反过来也一样但要注意YOLO格式里所有数值都是相对于图像宽高归一化后的比例有些工具导出时会把宽度和高度混用转换时用的是原坐标数值却忘记乘回对应维度。旋转框转水平框更值得警惕。直接从四个角点做min和max会得到一个完全外接的水平框。对于长宽比接近1的目标这样做误差很小但对于细长的车辆、船舶水平框会包含大量背景我之前有次转换测试集时一个车辆框的背景污染高得离谱模型误报直接飙升。解决办法是用OpenCV的minAreaRect先获取最小外接矩形或者干脆保留旋转框用mmrotate训练。现在YOLOv8也提供了OBB训练模式yolov8n-obb.pt这类模型可以直接吃旋转框标注这让数据处理流程简化了不少。3.4 质检流程标注完成不等于可以训练了。一定要有两轮质检第一轮交给脚本第二轮靠人工抽检。脚本检查项包括框是否超出图像边界、宽高是否为0或负值、类别是否为空、两条标注的IoU是否过高、旋转框四个角点是否共线等。我会额外检查一个容易忽略的点如果图像做了色彩矫正或畸变矫正标注坐标是否和矫正后的图像对齐。检查结果输出一个report文件按图像和错误类型分组方便快速定位问题。人工抽检建议抽取10%以上重点看容易混淆的类别边界。无人机航拍里最常见的混淆是行人与骑行者、自行车与电动车、车辆与大型工程机械。在团队标注规范里我会事无巨细地定义清楚判断标准比如行人必须完整出现在框内才算有效被遮挡面积超过30%的目标直接忽略。这个规范文件是整个标注流程中最有价值的资产。4. 数据增强与数据集划分理解飞行特性才能安排好训练4.1 无人机视角特有的增强组合数据增强不是越猛越好要针对无人机拍摄特性来设计。无人机视角最典型的问题是小目标密集、尺度变化大、光照和天气条件前后不一致。Mosaic增强是YOLO系训练里最常用的手段把4张图拼接成一张相当于人为制造一个包含多种场景、多种尺度的大图对小目标密集场景有明显帮助。YOLOv8默认就开了Mosaic如果你用的是其他框架需要自己实现拼接逻辑。比Mosaic更进一步的是Copy-Paste增强把一个小目标实例从一张图中抠出来粘贴到另一张图的合适位置上。自动驾驶和遥感场景常用这个技巧来补齐小目标样本不足的短板。几何增强方面旋转增强对无人机影像很有效因为航拍本身视角多变目标朝向并不固定。但如果你的标注是水平框做90度和270度旋转时框的宽高要跟着交换千万不能只旋转图片不改标注。多尺度训练也值得加入无人机采集时飞行高度不同目标尺度差异会很大多尺度训练可以有效提升对不同高度图像的适应能力。颜色增强要克制。无人机影像受雾和光照影响明显做一点亮度、对比度、色彩抖动有助于泛化但幅度过大的饱和度变换会让模型学到伪色彩关联。我的习惯是把色调偏移控制在原值的20%以内。4.2 大图切块与边界目标的处理无人机原图动辄4000×3000以上直接塞进YOLO训练几乎不可能必须切块。切块尺寸通常选1024或640带20%-30%的重叠避免目标恰好被脆生生切断。切块后的标注坐标要从原图像素坐标换算到patch坐标系。具体逻辑是先确定patch在原图中的起点位置(offset_x, offset_y)那么patch内的目标坐标就是原坐标减去offset。目标在patch边缘被切断时我的准则是目标可见面积小于原目标面积10%的丢弃大于10%的保留并裁剪标注到patch边界。如果不设这个规则边界目标会变成一堆无意义的碎框。切块时还要保留原图索引和GPS信息后面分析模型漏检时可以把漏检目标映射回原图看看是不是切块时丢掉的。4.3 按架次划分训练集、验证集、测试集这是整理无人机数据集最核心的一条经验划分一定要按架次或按航次绝不能随机打散。同一架次连续采集的影像场景光照、拍摄角度、地面目标几乎一模一样如果把相邻几十帧影像一部分分给训练集一部分分给验证集验证集就变成了看起来但没真正见过的近似重复数据模型效果会严重虚高。正确做法是3月2号上午飞的那一批全部进训练集3月5号下午飞的那一批进验证集3月9号换一个场地飞的进测试集。这样才能真实反映模型在没见过的场景里的表现。对于多地区采集的数据也要保证每个地区在三个集合里都至少出现一次避免模型只是背下某个特定地点的地物特征。划分结果用train.txt、val.txt、test.txt三个文件保存每一行是样本的绝对或相对路径。yolov8训练时的data YAML里直接引用这三个文件即可。5. 我踩过的三个坑和一套可复制的整理流水线5.1 坑一格式转换脚本里的坐标系错误有一回我拿到一个VOC格式的标注用自己写的脚本批量转YOLO。转完训练发现loss能降到很低但验证集mAP惨不忍睹。排查到半夜才发现脚本里用来计算宽高的不是xmax - xmin而是直接读了XML里一个我以为是宽高的字段实际上那是目标类别编号。我早该第一轮就用脚本校验坐标边界比如检查归一化坐标是否落在0到1之间、宽高是否为正、与图像尺寸相乘后是否越界。从那以后我的所有转换脚本都强制带一个自检函数每次转换完自动输出异常统计宁可慢一点也不能蒙着眼睛训练。5.2 坑二中值滤波去条纹毁掉热红外数据前面提过我曾经用中值滤波去热红外条纹结果温度梯度信息被抹掉了。回看那段经历最值得反思的其实是我没有先做频域分析就动手。现在只要遇到疑似条带噪声我的第一步永远是看频谱图确认噪声频率形态再决定处理手段。做完处理后我会生成一张差异图可视化处理前后每个像素的变化。如果差异区域除了条带噪声覆盖的线条外还有大量随机纹理被改动就说明参数设置有问题需要回退重调。5.3 坑三重复帧拖垮了整个训练集还有一次我从一整段航拍视频里每隔3秒抽一帧抽出来3000多张图。训练时发现模型对某些特定屋顶、特定车辆过拟合在验证集上泛化很差。后来用感知哈希计算了图像两两相似度发现中间有两百多组图像的SSIM超过0.95基本就是同一个位置几乎没移动。我重新按照无人机飞行速度和GPS位移距离设计抽帧逻辑保证相邻抽帧之间至少在地面上移动了10米数据量降到原来的三分之一训练效果反而好了。这件事给我的教训是数据量重要但样本多样性远比样本总数重要。5.4 一套可复制的数据集目录结构最后分享一套我目前一直在用的目录结构按这个组织后面无论跑YOLO还是mmrotate都能快速适配dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ ├── annotations/ │ ├── raw_xml/ │ └── raw_json/ ├── meta/ │ ├── flight_meta.jsonl │ └── camera_params.json ├── train.txt ├── val.txt └── test.txtlabels目录只放模型直接读取的最终格式标注annotations目录保留原始标注文件永远不动。meta目录记录每个样本的采集时间、GPS经纬度、飞行高度、相机参数后续如果想按高度或角度做分组消融实验这些信息能救命。目录结构一旦定下来就尽量别再改后面写训练脚本时能省下大量时间。数据许可和隐私问题也要在整理阶段同步确认。公开数据集我前面说过要检查license自采数据如果需要公开或商用人脸、车牌等敏感信息必须处理好。我见过有人因为数据集里带人脸信息发布后被要求紧急下架处理整批数据白整理这个教训说多了都是泪。整理无人机航拍数据集这件事最花时间的其实不是体力劳动而是三个脚本清洗脚本、转换脚本、校验脚本。这三件套一旦稳定下来后续每一批新数据进来都能快速落地。如果你刚开始接触建议不要急着收集海量数据先拿一批小数据把清洗、标注、转换、校验的完整链路跑通再扩大规模。链路易错量变救不了质变。
