简介水稻虫害检测数据集共2400张图片涵盖亚洲玉米螟、灰飞虱、稻纵卷叶螟和蓟马四类主要害虫每类605张面向农业AI、深度学习和图像识别研究者用于训练和验证虫害检测模型。压缩包共2000个文件以1998个XML标注文件为主辅以2个JSON文件整体大小55.34MBXML可提供目标边界框与类别标签JSON或用于数据集划分或配置信息。已有300人学习资源结构清晰适合作为迁移学习、目标检测如YOLO、Faster R-CNN的标注数据集。借助这套数据研究者和开发者可快速构建自动化虫害识别系统辅助田间害虫监测与精准防治提升水稻产量与品质。1. 2400张水稻虫害图为什么值得认真对待拿2400张水稻虫害检测数据集做目标检测多数人第一反应是“图太少训练不动”实际翻车往往不在模型而在数据准备。2400张图不是一个小数字按一张图平均出现几十头虫来计算这大概是几万个标注实例足够把YOLO类模型训到能用的水准——前提是你别一上来就开训。这个标题的核心是一套有标注的虫害图像集从整理、转换、训练到评估每一步都可能让最终精度差出十几个点。这篇想解决的问题很具体拿到一个2400张规模的水稻虫害数据集后怎么把它变成能复现、能迭代、能部署的检测方案。适合两类人——农业AI产品落地工程师以及刚入行想做视觉基准测试的同学。前者能在这里找到参数和排错经验后者能把数据管线走通。2. 数据集到手先别着急训练结构、格式与质量检查2.1 数据集结构长什么样常见目录组织方式公开的虫害检测数据集通常按“图片文件夹 标注文件夹”来组织有的图片按类别分目录有的全部平铺。2400张这个量级大多是单目录平铺因为分类目录在检测任务中没有意义模型看的是画框不是看目录名。拿到手先做一次目录结构盘点# 列出顶层和子目录结构确认图片和标注的分布 tree -L 2 . | head -50 # 统计各类图片文件格式JPEG/PNG/BMP 混用会坑后续训练 find ./images -type f \( -name *.jpg -o -name *.png -o -name *.bmp \) | sed s/.*\.// | sort | uniq -c第一行命令先看全貌第二行统计图片格式。格式混用看起来很琐碎但PNG带Alpha通道、BMP位深不同都会让读取时发生奇怪的颜色偏移。发现格式混杂用脚本统一转成JPG顺便把文件名规范成连续编号。标注文件同理VOC的XML、COCO的JSON、YOLO的txt这三种在公开数据里最常见。先统计每种标注格式的数量绝大多数数据集是单一格式但也不排除混杂情况。格式混杂必须先统一训练脚本里如果每次读标注都做分支判断后面跑批量实验会非常痛苦。2.2 标注格式转换脚本VOC/COCO/YOLO三格式互转我一般把中间格式定为COCO JSON因为从COCO出发可以转VOC、可以转YOLO、还可以直接做数据可视化。下面这段是把VOC XML转COCO JSON的常用脚本核心是把XML里的坐标和类别读出来塞进COCO的标注结构。import json import xml.etree.ElementTree as ET import glob import os # 遍历所有xml解析出object的类别、bbox写回COCO格式 def voc2coco(xml_dir, output_path): categories [] cat_map {} images [] annotations [] ann_id 1 for xml_file in glob.glob(os.path.join(xml_dir, *.xml)): tree ET.parse(xml_file) root tree.getroot() img_name root.findtext(filename) img_w int(root.findtext(size/width)) img_h int(root.findtext(size/height)) images.append({id: int(os.path.splitext(img_name)[0]), file_name: img_name, width: img_w, height: img_h}) for obj in root.findall(object): name obj.findtext(name) if name not in cat_map: cat_map[name] len(categories) 1 categories.append({id: len(categories) 1, name: name}) xmin float(obj.findtext(bndbox/xmin)) ymin float(obj.findtext(bndbox/ymin)) xmax float(obj.findtext(bndbox/xmax)) ymax float(obj.findtext(bndbox/ymax)) annotations.append({ id: ann_id, image_id: int(os.path.splitext(img_name)[0]), category_id: cat_map[name], bbox: [xmin, ymin, xmax - xmin, ymax - ymin], area: (xmax - xmin) * (ymax - ymin), iscrowd: 0 }) ann_id 1 with open(output_path, w, encodingutf-8) as f: json.dump({images: images, annotations: annotations, categories: categories}, f, ensure_asciiFalse) voc2coco(annotations/xml, annotations/train.json)这段脚本的转换逻辑并不复杂但有两个容易忽视的细节。第一image_id最好直接用文件名里的数字如果你用字符串文件名后续和图片路径拼接时要额外维护映射表麻烦。第二bbox字段COCO要求[x, y, width, height]不少人从VOC转过来直接填[xmin, ymin, xmax, ymax]评测时mAP直接崩到零点几这种错最难查。转完之后随手检查一下JSON里第一条标注的宽高是不是正数。从COCO转YOLO也写几行import json # 读取COCO为每张图写一个txt每行: 类别 x中心 y中心 宽 高 def coco2yolo(coco_path, output_dir): with open(coco_path, encodingutf-8) as f: data json.load(f) img_id_to_info {img[id]: img for img in data[images]} cat_map {c[id]: i for i, c in enumerate(data[categories])} # 类别id重排从0开始 for ann in data[annotations]: img_info img_id_to_info[ann[image_id]] img_w, img_h img_info[width], img_info[height] x, y, w, h ann[bbox] cx (x w / 2) / img_w cy (y h / 2) / img_h dw, dh w / img_w, h / img_h txt_name os.path.splitext(img_info[file_name])[0] .txt with open(os.path.join(output_dir, txt_name), a) as out: out.write(f{cat_map[ann[category_id]]} {cx:.6f} {cy:.6f} {dw:.6f} {dh:.6f}\n)这里最关键的一步是类别ID要重排从0开始YOLO不允许类别从1开始否则训练时类别数会莫名多出一类。另外注意这里写的是归一化坐标有的老版本YOLO要求整数坐标新版本全部归一化别混用。txt如果同时存在open用a会反复追加建议先清空输出目录再跑。2.3 图片质量检查坏图、模糊图与重复图图片质量问题比标注问题更隐蔽训练时不一定报错但精度就是上不去。2400张图里如果有几十张半截图、全黑图、超高分辨率图会拖累整个训练过程。import os from PIL import Image img_dir images bad_list [] for fname in os.listdir(img_dir): fpath os.path.join(img_dir, fname) try: img Image.open(fpath) img.verify() # 检查文件是否损坏 img Image.open(fpath) if img.width 300 or img.height 300: bad_list.append((fname, too_small, img.size)) except Exception: bad_list.append((fname, corrupt, )) for item in bad_list: print(item) # 打印所有坏图和过小图这段脚本用PIL的verify检查文件完整度把损坏文件和尺寸过小的图筛出来。尺寸过小的图标注常常也是错的因为原始图被压缩后标注框没有跟着缩放这种情况下宁可删掉这张图也别留着干扰训练。重复图的处理要更小心一点。用MD5哈希可以找出完全相同的图片但同一张图的不同缩放版本哈希不同可以用感知哈希算法来查。简单做法是看文件名相似度加上直方图对比不过这属于工程上比较繁琐的部分。经验是先把完全重复的去掉再把同场景下的连拍图人工抽看一遍水稻虫害采集时经常连拍前几十张几乎一模一样这些冗余数据会让验证集“偏科”训练时看着指标不错实际泛化很糟。2.4 类别分布统计不均衡直接决定模型策略2400张数据集的类别分布一定要在训练前摸清。常见分布是稻飞虱、二化螟、稻纵卷叶螟等几只“大路货”占了大头其他稀有虫害只有几十个实例。不均衡的比例如果超过10:1训练策略要跟着变。import json from collections import Counter coco_path annotations/train.json with open(coco_path, encodingutf-8) as f: data json.load(f) cat_count Counter(ann[category_id] for ann in data[annotations]) img_count len(data[images]) print(f图片总数: {img_count}) for cat_id, cnt in cat_count.most_common(): name next(c[name] for c in data[categories] if c[id] cat_id) print(f{name}: {cnt} 个标注实例)统计结果如果发现某个类别的实例数只有几十后续训练时要考虑给它加权或者在增强时提高这类图片的采样概率。另一个容易被忽略的数字是每张图的平均实例数如果平均只有2-3个说明标注框稀疏模型容易把注意力全放在背景上如果平均20个以上小目标堆叠的难度会明显上升。2400张图、平均每张10个实例就是一个比较正常的分布适合用中小型模型起步。分布异常时先补数据还是先改损失在后面的章节展开。3. 模型选型与训练配置2400张图的合理打法3.1 网络规模选择为什么YOLOv8n在这个场景比x版本更靠谱2400张数据的规模决定了网络规模不能大。YOLOv8n参数量约3.2MYOLOv8x约68M差了二十倍。小数据量下大网络几乎必定过拟合训练集loss降到零点几验证集mAP纹丝不动这是经典翻车现场。我的选型经验是先用nano跑通全流程确认数据管线没问题、mAP能达到合理区间再尝试small版本对比如果small相比nano的提升不足两个点就退回nano。虫害检测部署场景很多在田间边缘设备nano的推理速度优势明显。YOLOv8的s模型是折中参数量11M训练时间比nano长约1.5倍但对2400张数据来说精度提升有限。除非你的图分辨率特别高、虫子占画面比例特别小否则不建议一上来就上medium以上。x版本在这个数据规模下的意义更多是作为蒸馏的老师而不是直接部署的学生。3.2 训练参数详解batch、epoch、imgsz、mosaic怎么配用YOLO框架训练关键参数是imgsz、batch、epoch和增强策略。水稻虫害图像有个特点很多照片是田间手机或无人机拍的虫子也就几十个像素大小。imgsz如果设成默认的640小目标很容易消失在这张图上。# 单卡训练命令resize到800batch16迁移预训练权重 yolo detect train \ modelyolov8n.pt \ datadataset.yaml \ imgsz800 \ batch16 \ epochs100 \ optimizerSGD \ lr00.01 \ lrf0.01 \ mosaic1.0 \ close_mosaic10 \ valTrue \ projectruns/rice_pest \ nameyolov8n_imgsz800imgsz设800而不是640是因为虫害小目标多提高输入分辨率等于给模型放大镜。代价是显存占用和训练时间上涨16GB显存下batch16是安全值卡显存就降到12或8。mosaic1.0表示前90个epoch启用马赛克增强close_mosaic10表示最后10个epoch关闭马赛克让模型在接近真实分布的图像上微调收尾这一步很重要直接关会影响稳定性和最终精度。epoch设100对2400张图够用。小数据下epoch太少欠拟合太多过拟合。看验证集mAP曲线如果epoch 60附近已经平台期后面40轮都是震荡那就停下来用Early Stopping。SGD配合标量学习率在中小数据集上通常比Adam稳因为Adam在小批量下容易跑到尖锐极小值。如果训练震荡明显把lr0降到0.005继续试。3.3 数据增强组合虫害场景的增强边界YOLO自带增强管线translate、scale、fliplr默认开启但有些增强不适配虫害场景。比如flipud也就是上下翻转——田间照片很多是俯拍上下翻转会让虫子看起来像顶着天空飞属于物理不合理的分布。自定义增强策略时我建议只保留这几种随机平移translate0.1、随机缩放scale0.5模拟拍摄距离变化、水平翻转fliplr0.5、色调和饱和度微调hsv_h0.015hsv_s0.7以及马赛克增强。不要开旋转增强虫子在叶片上的朝向虽然有变化但旋转超过30度会让水稻叶片纹理失真模型学到的纹理特征反而被削弱。色调微调这个参数容易被忽略。田间光照变化极大同一片稻田早上和下午的色温完全不同。hsv_h0.015的轻度随机扰动可以模拟这种变化让模型对光照鲁棒。幅度不要大太大就把稻叶的绿色背景变成紫色模型学会认紫色背景就废了。马赛克增强在虫害检测里是把双刃剑。小目标经过马赛克的四图拼接后被缩小四倍原来20像素的目标变成5像素直接丢进背景里。如果你的虫子目标普遍小于32像素马赛克增强建议从1.0降到0.5。细小的稻飞虱在图上可能只有十几像素马赛克对它们几乎等于清洗掉了。3.4 训练过程观察loss曲线与异常先兆训练是要盯曲线的。YOLO训练时会打印box_loss、cls_loss、dfl_loss以及验证集的metrics。关键看三点。第一训练loss和验证loss之间的gap。gap从小变大说明过拟合开始backup不止一个——意思是你可以提前准备好早停策略别等训练跑完再看。第二验证集mAP0.5:0.95这个指标比mAP0.5更苛刻对定位精度更敏感虫害检测场景更看重这个。如果只有mAP0.5好看而0.5:0.95很低说明框偏大或偏小位置不准后续要检查标注框本身的贴合度。第三如果loss曲线出现剧烈锯齿先怀疑batch size太小其次怀疑标注数据里有异常框——比如一个标注框宽高比超过10:1这类框会让损失产生尖峰。出现过拟合时可以调整两个参数。一个是weight_decay调大到0.0005另一个是dropout调高到0.2。YOLOv8没有直接暴露dropout配置可以改模型配置文件里的dropout层数值。大多数时候先试降低模型复杂度比加正则有效。4. 评估模型效果不止看mAP还要看到底漏了什么4.1 三组核心指标mAP0.5、mAP0.5:0.95、PR曲线训练结束后标准评估命令会输出mAP指标但只看平均分远远不够。mAP0.5衡量的是框与真值重叠度超过50%即算命中比较宽松mAP0.5:0.95则把阈值从0.5一路加到0.95求平均严苛很多。虫害检测里小目标天然IoU偏低这个指标往往比预想低五六个点看到0.25的数值不用慌张。PR曲线的形态比mAP数值更有诊断价值。如果曲线在召回率0.6处掉头向下说明模型在低置信度区间大量误检如果曲线一路走平到0.9才掉说明误检集中在高置信度区域——这种情况下调低置信度阈值就能收获精度。注意这些指标的置信度阈值是训练好才固定的实际部署时nms的conf阈值可以降低到0.25以换召回。跑一次标准验证把结果存下来方便后续对比yolo detect val \ modelruns/rice_pest/yolov8n_imgsz800/weights/best.pt \ datadataset.yaml \ imgsz800 \ conf0.001 \ save_jsonTrue \ save_confTrueconf设0.001是让模型用全部候选框参与评估得到一个更真实的上限分数。如果你直接用0.25跑评估漏检会全部藏到低置信度框里你根本不知道模型的实际瓶颈在哪。4.2 混淆矩阵与类别错误分析YOLO验证输出的混淆矩阵图这里最值得看的是两类单元格。第一类是目标类别被识别为背景也就是漏检第二类是类别之间的互相混淆——稻飞虱和叶蝉外观高度相似模型把它们搞混非常正常。如果某两类混淆严重先回去看标注质量很可能原始标注就把这两个类别标错了。混淆矩阵里背景列的值如果异常高说明模型把大量背景区域当成目标输出了这往往是训练数据里负样本不足导致的。移栽初期的稻田里泥土、水面、倒影与虫子颜色相近模型学不到“这些不是虫”的边界那么补充负样本图片会在此时发挥奇效。计算每个类别的独立mAP也很有必要。YOLO的results输出已经包含每个类的AP值。类别间AP差距超过15个点说明这个类别样本数太少或标注质量差。这时候去统计稀有类别的标注框面积如果它们普遍小于20x20基本可以判断是小目标问题与标注无关——对策是提高输入分辨率或裁剪训练而不是单纯加数据。4.3 可视化结果人工审查# 把验证集的预测结果画框输出到文件夹 yolo detect predict \ modelruns/rice_pest/yolov8n_imgsz800/weights/best.pt \ sourcedatasets/rice_pest/valid/images \ conf0.25 \ saveTrue \ save_txtTrue \ projectruns/vis \ namevalid_predict模型自己画出的框和原始标注放在一起对比。人眼在“框偏了半格”这件事上比mAP指标敏感得多——如果模型画出的框普遍贴着虫子的下半身而不是中心说明标注阶段出现系统性的坐标偏移这种质量问题无法靠训练修正只能回头修标注。另一个重点观察对象是密集区域的预测。水稻茎秆上一串虫挤一起标注员常常只框了一个虫这个漏标注直接导致模型在这一带输出一坨置信度低于0.3的框。人工查看时只要发现密集区域大面积无预测输出就可以推定存在漏标这比调任何参数都有效。4.4 从指标反推数据问题一个常用诊断思路当mAP不符合预期时按顺序做三件事。第一步用训练好的模型去预测训练集如果训练集mAP都不高说明模型拟合能力不足或数据标注存在系统性错误第二步如果训练集mAP高而验证集低过拟合为主增强和正则下次训练时加大力度第三步验证集里mAP特别低的图片单独拎出来看是模糊、遮挡还是极端光照。诊断逻辑记住一条2200张训练图与200张验证图的分布差异不能太大。如果验证集里阴天图占比高于训练集mAP虚低就无从判断模型好坏。因此数据集划分时就应该按拍摄条件分层采样而不是随机切分。这部分细节留到第五章节的避坑环节里展开。5. 避坑指南2400张水稻虫害数据集训练实录中的五个常见问题5.1 类别ID不连续导致训练类别数虚高现象数据里类别只有4类训练日志显示nc为6训练过程没有报错但验证时预测类别频繁张冠李戴。原因原始标注的类别ID不是从0开始的连续整数比如直接用了COCO原生的类别号1、3、5、7。YOLO对类别ID的解释是从0到nc-1中间的空洞ID会被当作额外类别处理导致类别预测错位。解决写个脚本把类别重映射为0到4的连续值。这个坑在数据集来源混杂时极其常见解决它只需要在数据准备阶段加一行业务逻辑把原始类别ID当作离散标签重新排序为0开始的index。5.2 高分辨率原图直接resize小目标信息被抹掉现象一张4000x3000的田间照片直接训练mAP0.5:0.95不超过0.15查看预测结果发现直径30像素的虫子全漏检。原因4000宽的图resize到640时图上30像素的目标变成不到5像素经backbone下采样32倍后目标在特征图上仅剩不足一个像素信息完全消失。解决先切图再训练。把原图切成1024x1024的小块覆盖全部目标后再训练。切片需要把标注框坐标同步换算到切片坐标系。这是小目标检测最有效的手段代价是图片数量从2400张变成接近一万张单卡训练时间拉长但mAP能翻身到0.4以上。5.3 数据集切分随机化验证集分布偏离现象训练集mAP正常验证集mAP特别低换几次随机种子结果上蹿下跳。原因数据集按文件名顺序或纯随机切分同一时段连拍的图片全进了验证集模型没见过的拍摄条件全堆在一起。虫害图的连拍序列视觉相似度极高随机切分很容易把“见过”和“没见过”的边界切歪。解决把连拍照片按时间或文件名前缀分组整组放进同一个子集。再按“晴天、阴天、傍晚、室内补光”这样的拍摄条件分层保证三个子集里都有这些条件。条件分层不需要多复杂按文件目录或采集批次名做group split就够了。5.4 标注框贴合度差训练出来的框永远是歪的现象训练loss很低预测框和目标的贴合机械性地差半个头且所有类别的偏移方向一致。原因标注工具的默认框类型或操作习惯导致框普遍偏大或者转换脚本在坐标归一化时把x/y倒置。如果所有框的偏移方向一致通常是代码错误而非标注员手抖——先检查归一化时是否把原点从左上角写成了中心点。解决脚本里对每个框画出来做叠加检查。生成一张标注框和原图的合成图肉眼扫50张就能发现系统性偏差。这个检查看起来土但是效率最高的方式。命令行一行就能完成# 画图检查原图上画标注框保存到check目录 import cv2, json, os with open(annotations/train.json, encodingutf-8) as f: data json.load(f) img_map {img[id]: img[file_name] for img in data[images]} for ann in data[annotations]: fn img_map[ann[image_id]] path os.path.join(images, fn) img cv2.imread(path) x, y, w, h [int(v) for v in ann[bbox]] cv2.rectangle(img, (x, y), (x w, y h), (0, 0, 255), 2) cv2.imwrite(os.path.join(check, fn), img)这段脚本如果发现框普遍偏大偏小直接回标注源头修正别试图让训练去“学习”这个错位的规律。模型学到的框偏移会在部署时变成真实误差比训练精度低更致命。5.5 数据增强导致标注错位不报错现象训练mAP异常低抽查增强后的图片发现框和虫子错位了。原因某些增强管线在Mosaic或MixUp时对多张图的标注做了拼接拼接坐标计算时漏了图块尺寸偏移。比如马赛克拼图时第二块图的原点不在(0,0)但标注坐标没加这个偏移。解决开启训练前先用一行代码看增强后的样本from ultralytics.data import YOLODataset ds YOLODataset(img_pathdatasets/rice_pest/images, data{yaml_file: dataset.yaml}, augmentTrue) for i in range(5): sample ds[i] print(sample[img].shape, sample[cls].shape, sample[bbox].shape)检查shape后画出增强图的框确认坐标没有越界。这类问题不算高频但一旦遇上会让前面所有调参全部失效最好在训练启动前就否定掉。6. 让这2400张图发挥超常水平迁移学习、难例挖掘与部署验证先讲迁移学习。24类通用预训练的YOLO权重拿来做水稻虫害检测不算理想但可以用一个折中方案先在大规模农业害虫数据集上预训练再在2400张水稻虫害数据上微调。具体做法是拿到COCO预训练的yolov8n.pt把backbone冻结前10层只训练head和最后几层卷积跑30个epoch后再解冻全部权重继续训练。冻结训练30轮后训练loss降到smooth L1损失相对平稳时解冻再整体训练50轮。这个流程在小数据集上比直接全量训练稳得多。难例挖掘是第二个值得投入的方向。把训练好的模型对未标注的田间图跑推理挑出置信度在0.3到0.7之间、且框重叠度模糊的样本人工标注后加入训练集。2400张数据加上难例挖掘两轮迭代产出还能再涨。没有新图时对现有图片做中心裁剪、局部放大生成细节聚焦的副本来补充小目标样本。部署前的最终验证建议用一组完全没有参与训练的手机实拍图做一个预测脚本from ultralytics import YOLO model YOLO(runs/rice_pest/yolov8n_imgsz800/weights/best.pt) result model.predict(field_test/2025_07_phone.jpg, conf0.3, iou0.5, imgsz800) for box in result[0].boxes: print(box.cls, box.conf, box.xyxy)如果实测图上虫子密集的茎秆区出现了连续漏检就把conf阈值调低到0.2再看如果误检像雨点一样密集说明模型把叶片纹理记住成了虫——回去检查训练集负样本质量。部署时TenserRT或OpenVINO的INT8量化对比FP16普遍掉1到3个点虫害检测属视觉类低风险场景INT8的精度损失值得用速度换。走到这一步数据集和模型都成了你自己能控制的资产。踩过坑再回头看2400张图其实足够说明问题模型的边界不在数据量而在你对数据的耐心。数据准备做扎实、训练参数有依据、部署验证等真实跑通后面的迭代才有底气。希望帮到你。本文还有配套的精品资源点击获取
