简介这份农作物病害数据集面向从事农业AI、目标检测与图像分类的开发者与科研人员覆盖10种作物的健康样本及27类病害样本其中24类附带病害程度标注可用于病害识别、健康检测与监测类项目。资源包共2000个文件以1997张jpg实拍图片为主另含2个json标注文件和1个txt说明整体约940.87MB图片场景多样、分布均匀可直接投入训练与验证。数据集已按训练集、验证集、测试集划分免去收集、筛选与标注环节适合作为病害检测的模板数据快速开展工程化实验。目前已有541人学习下载可作为模型训练、算法评估与改进的现成基础帮助读者缩短数据准备周期把精力集中在检测精度与鲁棒性优化上。1. 农作物病害数据集从“看图识病”到田间健康检测一套数据怎么撑起三类任务田里刚拍回来的一批叶片照片摊在屏幕上翻十分钟你会发现一个很现实的问题同一株作物正面看是健康叶片背面已经起了霉层早上拍的和中午拍的颜色能差出两个色号手机随手拍的和田间固定机位拍的背景复杂度完全不是一个量级。农作物病害数据集要解决的就是把这些“脏乱差”的真实样本整理成模型能稳定学习的训练素材。它面向的不只是单一的分类任务而是农作物识别、健康检测、病害分级这几类场景共用的一套底层数据。适合谁用做农业AI落地的算法工程师、想验证自己模型泛化能力的科研人员以及需要快速搭一套田间巡检原型的开发者。这一章先把这套数据集的边界讲清楚后面几章再拆怎么用、参数怎么调、坑在哪。2. 农作物病害数据集到底包含什么三类任务与数据组织方式2.1 农作物识别、健康检测、病害分类的任务差异很多人拿到数据集第一反应是“不就是一堆带标签的叶子图吗”但真正落地时会发现三类任务对数据的要求完全不同。农作物识别是“这是哪种作物”标签粒度到物种或品种比如番茄、黄瓜、水稻健康检测是“这株作物有没有问题”本质是二分类或异常检测健康与不健康病害分类则要细到“是哪种病”比如早疫病、晚疫病、叶霉病。这三类任务可以共用同一批原始图像但标签体系必须分开组织否则模型学出来的东西会互相干扰。常见做法是采用分层标签结构第一层是作物种类第二层是健康状态第三层是具体病害名称。这样一套数据可以同时导出三种标签文件分别喂给不同的任务头。我一般会建议在数据目录里按作物/健康状态/病害名称/这样的三级路径存放路径本身就是标签省去额外维护 CSV 的麻烦。2.2 数据集的典型目录结构与标注格式一个能直接投入训练的数据集目录结构应该让人一眼看懂。下面是我常用的组织方式适用于大多数农作物病害数据集dataset/ ├── train/ │ ├── tomato/ │ │ ├── healthy/ │ │ │ ├── img_0001.jpg │ │ │ └── img_0002.jpg │ │ ├── early_blight/ │ │ │ ├── img_0003.jpg │ │ │ └── img_0004.jpg │ │ └── late_blight/ │ │ └── img_0005.jpg │ └── cucumber/ │ ├── healthy/ │ └── downy_mildew/ ├── val/ │ └── ...同 train 结构 └── test/ └── ...同 train 结构这种结构的好处是用torchvision.datasets.ImageFolder或tf.keras.utils.image_dataset_from_directory可以直接读取不需要写额外的解析脚本。如果数据集自带标注文件常见的是 COCO 格式的 JSON 或 CSV里面包含文件名、类别、边界框。对于健康检测任务边界框不是必须的整图分类就够但如果要做病斑定位就需要边界框或分割掩码。注意如果数据集里健康样本和病害样本比例严重失衡比如健康叶片占 90%直接训练会让模型倾向于全部预测为健康。后面第 4 章会讲怎么处理。2.3 图像采集条件对模型泛化的影响农作物病害数据集的图像来源通常分三类实验室可控环境拍摄、田间自然环境下拍摄、用户手机随手拍。实验室数据背景干净、光照均匀模型很容易学到“背景”而不是“病斑”田间数据背景复杂有土壤、杂草、其他叶片干扰手机拍摄数据则带有强烈的设备差异和角度变化。一个只拿实验室数据训练出来的模型放到田间准确率能掉 30 个点以上这是血泪经验。我一般会优先选择包含田间自然场景的数据集或者至少保证验证集和测试集来自田间。如果数据集里没有标注采集条件可以自己按图像亮度、背景复杂度做一次聚类看看分布是否偏向某一类。这一步不做后面模型上线翻车是迟早的事。3. 把数据集跑起来从加载到训练的最小可复现流程3.1 用 PyTorch 加载农作物病害数据集并做基础增强拿到数据集后第一步不是直接上大模型而是先用一个轻量流程跑通确认数据读取、标签映射、增强策略都没问题。下面是一个最小可复现的 PyTorch 加载示例import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader # 定义训练集增强随机裁剪、翻转、颜色抖动 train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.7, 1.0)), # 模拟不同拍摄距离 transforms.RandomHorizontalFlip(p0.5), # 叶片方向不固定 transforms.RandomVerticalFlip(p0.3), # 部分病害从叶背拍 transforms.ColorJitter(brightness0.3, contrast0.3, saturation0.3, hue0.05), # 模拟光照变化 transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) # ImageNet 统计量 ]) # 验证集只做缩放和归一化不做随机增强 val_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_dataset datasets.ImageFolder(dataset/train, transformtrain_transform) val_dataset datasets.ImageFolder(dataset/val, transformval_transform) train_loader DataLoader(train_dataset, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_dataset, batch_size32, shuffleFalse, num_workers4, pin_memoryTrue) print(f类别数: {len(train_dataset.classes)}) print(f类别列表: {train_dataset.classes})这段代码的关键参数有三个。RandomResizedCrop的scale(0.7, 1.0)控制裁剪范围太小会让病斑被裁掉太大会让模型只看到整叶ColorJitter的hue不要超过 0.1否则叶片颜色会失真把健康叶变成病叶Normalize用的是 ImageNet 统计量如果你从零训练而不是用预训练权重可以改成数据集自身的均值和方差。num_workers在 Windows 上如果报错改成 0 先跑通。3.2 训练参数怎么设学习率、批大小与早停策略农作物病害数据集的样本量通常不会特别大几千到几万张居多。这种规模下用预训练模型微调是最稳的路线。我一般会这样设参数推荐值说明主干网络ResNet50 / EfficientNet-B0前者稳后者轻初始学习率1e-4微调/ 1e-3从零微调时太大容易破坏预训练特征批大小32 或 64受显存限制太小梯度噪声大优化器AdamW比 SGD 更容易调权重衰减1e-4防止过拟合早停耐心7 个 epoch验证集损失不降就停学习率调度CosineAnnealingLR比 StepLR 更平滑训练循环里要监控的不是只有准确率。对于健康检测任务召回率比准确率重要——漏掉一个病株的代价远大于误判一个健康株。所以验证阶段要同时输出混淆矩阵看看健康样本被误判成病害的比例。from sklearn.metrics import confusion_matrix, recall_score import numpy as np model.eval() all_preds, all_labels [], [] with torch.no_grad(): for images, labels in val_loader: images, labels images.cuda(), labels.cuda() outputs model(images) preds torch.argmax(outputs, dim1) all_preds.extend(preds.cpu().numpy()) all_labels.extend(labels.cpu().numpy()) cm confusion_matrix(all_labels, all_preds) recall recall_score(all_labels, all_preds, averagemacro) print(f宏平均召回率: {recall:.4f}) print(f混淆矩阵:\n{cm})如果发现健康类别的召回率明显低于病害类别说明模型对健康样本的特征学得不够可能是健康样本多样性不足需要补充不同光照、不同角度的健康叶片图像。3.3 用混淆矩阵定位“把健康叶判成病叶”的问题混淆矩阵是排查农作物病害模型最实用的工具。假设你发现“健康”被大量判成“早疫病”先别急着调模型去看被误判的图。常见原因有三个一是健康叶片上有水渍或灰尘视觉上像病斑二是拍摄时背景有枯叶模型把背景当成了病斑三是训练集里健康样本太少模型没见过足够多的健康形态。解决方式对应也有三个增加健康样本的多样性尤其是带水渍、灰尘、阴影的负样本在数据增强里加入随机遮挡强迫模型关注叶片本身而不是背景调整类别权重给健康类更高的损失权重。下面是一个带类别权重的损失函数示例# 假设类别顺序为 [healthy, early_blight, late_blight] # 健康类样本少给更高权重 class_weights torch.tensor([2.0, 1.0, 1.0]).cuda() criterion torch.nn.CrossEntropyLoss(weightclass_weights)权重的设置不是拍脑袋一般用类别频率的倒数做归一化。如果健康类占 10%病害类各占 45%那么健康类权重可以设为 4.5病害类设为 1.0 左右。但权重过大也会导致模型把病害判成健康需要看验证集上的召回率平衡点。4. 避坑与排查农作物病害数据集最常见的五个翻车点4.1 现象训练准确率 99%田间测试掉到 60%原因训练集和测试集来自不同采集条件。训练集是实验室干净背景测试集是田间复杂背景模型学到了背景相关性而不是病斑特征。解决强制按采集条件分层划分训练集和验证集确保验证集包含田间样本。如果数据集本身没有田间样本用随机遮挡、背景替换做增强或者直接换一个包含田间数据的数据集。4.2 现象模型把“健康”全部预测成“病害”原因类别不平衡健康样本太少或者损失函数没有处理类别权重。模型发现全部预测为病害的损失更低。解决先看混淆矩阵确认然后加类别权重或者对健康类做过采样。过采样时不要简单复制用随机裁剪、颜色抖动生成不同版本。4.3 现象验证集损失震荡准确率忽高忽低原因批大小太小或者学习率太大。农作物病害数据集样本差异大小批量会导致梯度噪声大。解决把批大小提到 64 或 128学习率降到 1e-4加 warmup。如果显存不够用梯度累积模拟大批量。4.4 现象某些病害类别始终学不会原因该类样本太少或者该类与另一类视觉上太相似。比如早疫病和晚疫病的早期症状都是小褐点。解决先确认这两类在训练集里是否真的可分。如果人眼都分不清模型更分不清。可以考虑合并成“叶斑病”大类或者引入多标签分类允许一张图同时属于多个类别。4.5 现象数据增强后模型反而变差原因增强过度。比如把 hue 调到 0.5健康叶变成紫色模型学到的是颜色伪影而不是病斑。解决增强参数要保守。颜色抖动的 hue 不超过 0.1亮度对比度不超过 0.3旋转角度不超过 30 度。增强的目的是模拟真实变化不是创造新物种。5. 进阶技巧用健康检测的思路做病害早期预警5.1 从分类到异常检测只拿健康样本训练病害分类需要每类病害都有足够样本但现实中早期病害样本很难收集。一个更实用的思路是只拿健康样本训练一个异常检测模型推理时任何偏离健康分布的输入都判为“疑似病害”。这样做的好处是新出现的病害类型也能被检出不需要重新标注。常用做法是用自编码器或 One-Class SVM。自编码器在健康叶片上训练重建误差小的判为健康误差大的判为异常。下面是一个简单的自编码器结构import torch.nn as nn class LeafAutoencoder(nn.Module): def __init__(self): super().__init__() # 编码器逐步压缩空间维度 self.encoder nn.Sequential( nn.Conv2d(3, 32, 3, stride2, padding1), # 224 - 112 nn.ReLU(), nn.Conv2d(32, 64, 3, stride2, padding1), # 112 - 56 nn.ReLU(), nn.Conv2d(64, 128, 3, stride2, padding1), # 56 - 28 nn.ReLU(), ) # 解码器恢复到原图尺寸 self.decoder nn.Sequential( nn.ConvTranspose2d(128, 64, 3, stride2, padding1, output_padding1), nn.ReLU(), nn.ConvTranspose2d(64, 32, 3, stride2, padding1, output_padding1), nn.ReLU(), nn.ConvTranspose2d(32, 3, 3, stride2, padding1, output_padding1), nn.Sigmoid(), ) def forward(self, x): z self.encoder(x) return self.decoder(z)训练时只用健康样本损失函数用 MSE。推理时计算重建误差设定一个阈值超过阈值就报警。阈值的设定可以用验证集上的健康样本误差分布取 95% 分位数。这个方法的边界是如果病害早期外观变化极小重建误差可能不明显需要结合多光谱或高光谱数据。5.2 用 t-SNE 验证特征空间是否真的分开了模型训练完不要只看准确率。把倒数第二层的特征拿出来做 t-SNE 可视化看看健康样本和病害样本在特征空间里是不是真的分开了。如果混在一起说明模型没学到判别性特征准确率再高也是过拟合。from sklearn.manifold import TSNE import matplotlib.pyplot as plt # 提取特征 features, labels [], [] with torch.no_grad(): for images, lbls in val_loader: images images.cuda() feat model.forward_features(images) # 假设模型有这个方法 features.append(feat.cpu().numpy()) labels.extend(lbls.numpy()) features np.concatenate(features, axis0) tsne TSNE(n_components2, perplexity30, random_state42) embedded tsne.fit_transform(features) plt.scatter(embedded[:, 0], embedded[:, 1], clabels, cmaptab10, s5) plt.colorbar() plt.title(t-SNE of leaf features) plt.show()如果健康样本和病害样本在 t-SNE 图上重叠严重说明特征空间没有分开需要检查标签是否正确、增强是否过度、模型是否欠拟合。这个技巧我每次做完训练都会跑一遍比看损失曲线直观得多。5.3 一个习惯先看数据再调模型我做了这么多年农业AI最大的教训就是模型效果不好时先别动网络结构先去看数据。把误判的图一张张翻出来看看它们有什么共同点。十有八九是数据问题不是模型问题。农作物病害数据集的质量决定了模型的上限调参只能逼近这个上限。希望帮到你。本文还有配套的精品资源点击获取
