1. 项目概述与数据解构1.1 为什么选择 CIFAR-10 做第二个实战项目很多自学深度学习的朋友都有这种感觉MNIST 手写数字跑通了准确率刷到 99% 以上心里挺美但转头遇到真实世界的彩色图片立刻傻眼。灰度图换成三通道的彩色图尺寸从 28×28 变成 32×32模型该有的“感觉”一下子就没了。这正是我做这个 P2 打卡项目的原因——用 CIFAR-10 把“黑白小图”和“真实彩色图片识别”之间的坎儿给迈过去。CIFAR-10 这个数据集的地位很特殊。它由 60000 张 32×32 彩色图片组成共 10 个类别每个类别 6000 张。这个规模放在今天动辄千万级的数据集面前不算大但它的价值在于“刚刚好”训练集 50000 张、测试集 10000 张的结构足够支撑一个中型卷积神经网络吃饱同时又不会让你在数据加载和训练等待上浪费太多时间。更重要的是CIFAR-10 包含的是飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车这些日常生活中可以触达的物体彩色、有纹理、有背景、有遮挡比 MNIST 所在的理想环境复杂得多但又不是 ImageNet 那种需要几天几周训练才能看到效果的大规模数据集。这个项目适合什么基础的人来做我建议是已经跑通 MNIST 或 Fashion-MNIST、对神经网络基本组件有概念的朋友。你需要知道卷积层、池化层、全连接层各自是干嘛的知道什么是梯度下降、学习率、损失函数。但如果这些概念你已经模糊了也没关系我在后面的章节里会把关键原理再做一次串讲——毕竟 CIFAR-10 这个项目本质上就是在这些基础概念之上增加“彩色”这个维度增加“真实图片”的复杂度和随机性。1.2 CIFAR-10 的图像特征与识别难点我最初做这个项目的时候天真地以为 CIFAR-10 就是把 MNIST 的输入通道从 1 改成 3、尺寸从 28 改成 32改几个参数就完事。实际上跑了第一次训练之后看到验证集准确率在 55% 左右徘徊才意识到问题没那么简单。CIFAR-10 的难点其实藏在图像的底层特征里。32×32 的尺寸限制了图片能承载的细节量每个类别的图像类别内部差异远大于 MNIST。同样是“猫”有的猫占满了整张图有的猫只出现在角落同样是“汽车”颜色的差异、拍摄角度的差异都影响模型判断。更麻烦的是CIFAR-10 类别之间存在语义相似性比如汽车和卡车如果不看细节轮廓接近颜色接近连我人眼都有时候会分辨错。背景干扰也是大问题很多图片的主体会和背景混在一起不像 MNIST 那样黑底白字、前景背景天然分离。这直接导向了一个结论在这个项目里单纯堆全连接层是没有出路的。如果强行把 32×32×3 的像素拉成一维向量输入全连接网络参数量会爆炸而且像素之间的空间关系——比如猫耳朵旁边是猫眼睛这种局部特征——会彻底丢失。所以卷积神经网络几乎成了唯一合理的选择它的局部感受野机制天然契合图片识别任务这也是整个项目技术路线的核心出发点。2. 数据加载与预处理2.1 数据集的下载与目录结构这个环节看似简单但不少朋友会在第一次下载时碰到坑。PyTorch 的 torchvision.datasets 模块内置了 CIFAR-10 的下载和读取接口我个人强烈建议不要手动去官网下载再写自定义的 DataLoader——除非你有特殊的数据增强需求否则内置接口已经覆盖了绝大部分场景。我实际使用的环境配置如下PyTorch 2.1.0Python 3.10torchvision 0.16.0。写代码时要留意的是torchvision.datasets.CIFAR10 这个类接受四个关键参数root 指定数据存放路径、train 指定是加载训练集还是测试集、download 设为 True 时如果本地没有数据会自动下载、transform 接收一个图像预处理管道。我自己习惯把数据放在项目根目录下的 data 文件夹里方便后续打包和管理。下载过程不需要特殊处理如果网络不稳定建议先把压缩包手动下载好放到 root 目录下的 cifar-10-batches-py 文件夹里再让接口去读取。当时我第一次自动下载就踩了一次教训中途断网了再运行发现接口不认识残缺的文件还报了个莫名其妙的错误后来删掉重下才恢复。2.2 归一化与数据增强训练效果的“隐形改命”很多人跑 CIFAR-10准确率上不去第一反应是换模型加层数其实问题往往出在数据预处理上。先说归一化。CIFAR-10 的像素值是 0~255 的整数如果直接喂给模型数值范围太大不利于梯度下降的稳定性。标准做法是计算整个训练集的均值和标准差做零中心化和方差缩放。torchvision 中文社区约定俗成的做法是使用预先计算好的 CIFAR-10 全局均值(0.4914, 0.4822, 0.4465)和标准差(0.2023, 0.1994, 0.2010)分别对应 RGB 三个通道。为什么不用自己的数据现算因为大批量扫描全部 50000 张图片计算均值方差需要时间而预计算好的统计量在社区中经过大量验证直接用能省一次训练集遍历的开销。再说数据增强。这是这个项目最容易拉开效果差距的地方。我实测过一组对比不做任何增强基础 CNN 在测试集准确率大约 60%加上随机裁剪RandomCrop和随机水平翻转RandomHorizontalFlip直接拉升到 68% 左右。这个提升逻辑很朴素CIFAR-10 中很多物体的位置并不居中随机裁剪相当于以数据方式模拟了物体位置的平移变化随机翻转则是一种低成本、高性价比的左右对称增强。这两种操作本质上都是正则化手段防止模型对训练集中出现过多次的位置和方向产生过拟合。我常用的 transform 管道长这样transform_train transforms.Compose([ transforms.RandomCrop(32, padding4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ]) transform_test transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)), ])这里有两处细节值得展开讲。第一训练集做了增强而测试集没做增强这很关键随机裁剪和翻转会人为改变测试图片的内容导致评估结果失真。第二RandomCrop(32, padding4)是先给图像四周填充 4 像素的黑色边框再从填充后的 40×40 图中随机裁剪出 32×32 区域这个 pad 宽度是有讲究的太小了形同虚设太大了引入过多无效区域4 是一个广泛验证过的经验值。还有一些增强手段比如颜色抖动ColorJitter、随机旋转、随机擦除RandomErasing效果也不错但对于入门项目来说不建议一上来就全上——增强是正则化数据不够强时增强过度反而会增加训练难度让损失下降变慢初学者不容易判断是模型问题还是增强过头。一句话总结先用 RandomCrop RandomHorizontalFlip 打底跑通主线再考虑加成。3. 网络模型设计3.1 卷积神经网络的基本原理回顾在动手搭模型之前有必要把 CNN 的关键机制再梳理一遍——因为项目里每个设计决策背后都对应着这些原理的取舍。卷积层的核心思路是参数共享和局部连接。一个卷积核比如 3×3它本质上是一个小窗口在图像上滑动对局部区域做加权求和。和全连接层的对比很有意思全连接层里每个输出节点都和输入的所有像素连接而卷积层里一个输出只关心输入的一个局部窗口里的像素。这带来一个直接的好处参数量大幅减少。假设输入是 32×32×3第一个卷积层用 32 个 3×3 卷积核参数量只有 3×3×3×32864而如果接一个同样输出 32 个特征的全连接层需要 32×32×3×3298304 个参数差距快 100 倍。池化层解决的问题是“图像太大、特征太多”。最大值池化MaxPooling在 2×2 窗口内取最大值把特征图的宽高各减半同时保留最强烈的激活信号。它起到的作用不只是降维还引入了平移不变性——物体在图像上平移几个像素经过池化后激活值不会剧烈变化。激活函数 ReLU 在 CNN 中几乎成为标配原因在于它计算简单求 max反向传播时梯度不会像 Sigmoid 那样在饱和区趋于 0从而避免了梯度消失。当然还有一个潜在问题——ReLU 会让负数输入直接输出 0表现出来就是“神经元死亡”有些网络层长时间得不到有效更新。针对这个问题后面我们会在超参调优部分展开聊一聊比如降低学习率就能缓解这种现象。3.2 基于 PyTorch 的 CNN 模型搭建我在这个项目里的模型设计思路参考了经典 VGG 网络的堆叠风格但是做了大幅度的减配让单卡 GPU 在十几分钟内能完成全部训练而不是动辄等几小时。import torch.nn as nn class CIFAR10CNN(nn.Module): def __init__(self, num_classes10): super(CIFAR10CNN, self).__init__() self.features nn.Sequential( # Block 1 nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(32, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # Block 2 nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(64, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), # Block 3 nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(128, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(kernel_size2, stride2), ) self.classifier nn.Sequential( nn.Dropout(0.5), nn.Linear(128 * 4 * 4, 256), nn.ReLU(inplaceTrue), nn.Linear(256, num_classes), ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x模型参数的计算很有意思。输入 32×32×3 的图经过第一个 Block 的两次 3×3 卷积加 2×2 池化后尺寸变成 16×16×32经过第二个 Block 后变成 8×8×64经过第三个 Block 后变成 4×4×128。最后的特征图在送入全连接层前需要展平成一维就是self.classifier里写的128 * 4 * 4这个数字的来源。这些参数在搭建时都要认真推演一遍——我有一次就是没算尺寸直接把view展开的维度写错喂数据时直接报 size mismatch排查起来很烦。关于 Dropout 的设置放在全连接层之前而不是卷积层之后这是经验之谈。卷积层本身参数量小逐层共享权重正则化需求不迫切而全连接层占据了模型总参数的大头极易过拟合Dropout(0.5) 用在这一层能强制模型不依赖某一个具体特征而是多个特征协同决策。Dropout 的效果在后面的训练日志中会反映出来这是个值得反复体会的细节。3.3 为什么要用小卷积核而不是大卷积核项目里全部采用 3×3 卷积核这个选择不是随手写的背后有充分的考量。VGG 论文里专门比较过两个 3×3 卷积核堆叠感受野等于一个 5×5 卷积核三个 3×3 卷积核堆叠感受野等于一个 7×7 卷积核。但参数量完全不同3×3 卷积核的参数是 95×5 是 257×7 是 49三个 3×3 堆叠的参数是 27只比一个 5×5 的一半多一点。另外小的卷积核意味着中间可以插入更多的激活函数网络的非线性表达能力更强。也就是说用更多的小卷积核替代一个大卷积核既省参数又增加表达力这种“便宜又好用”的事情在实际工程中并不常见一旦遇到了就值得固定下来。CIFAR-10 这种 32×32 的小图本身图像分辨率不高大卷积核的意义就更弱了——你甚至不需要更大的感受野因为你想要捕捉的特征本身就在很小的空间范围内。4. 训练过程与超参数选择4.1 损失函数与优化器选择逻辑分类问题的终点是一个概率分布所以损失函数的选择逻辑要从这里出发。CIFAR-10 有 10 个类别网络最后一层输出 10 个实数要让这 10 个实数变成一个和为 1 的概率分布就要用到 Softmax 函数。PyTorch 里nn.CrossEntropyLoss已经把 LogSoftmax 和负对数似然打包在了一起不需要在模型最后一层再手动加 Softmax。从直觉上理解交叉熵损失当模型对正确类别的预测概率越接近 1损失值越接近 0当模型信誓旦旦地预测错了损失值会取得非常大的惩罚。它不像均方误差那样对每个类别一视同仁而是专门针对“正确类别是否得到高概率”做优化这在分类任务中比 MSE 高效得多。优化器我选择了 SGD随机梯度下降配合动量momentum放弃了更“现代”的 Adam。原因说起来可能让新手意外Adam 自适应学习率在很多任务上表现好但在 CIFAR-10 上SGD momentum 配合合适的学习率调度策略最终准确率往往明显高于 Adam。Adam 在前几百个迭代收敛很快但后期调优能力偏弱容易在局部最优点附近停滞。SGD 则稳定但“走得慢”靠 momentum 累积历史梯度方向加速收敛为模型提供了更强的逃离局部陷阱的能力。这里我给一个新手可以放心使用的起点配置权重衰减weight_decay设为 5e-4momentum 设为 0.9。权重衰减的分析维度是每个参数在更新时都会额外乘以一个略小于 1 的系数1 - learning_rate * weight_decay相当于对大的权重施加惩罚防止部分特征被过度强化而过拟合。4.2 学习率调度与训练参数配置学习率在整个训练过程中的变化策略是 CIFAR-10 项目里影响最大的单个超参数。我习惯在一开始把学习率设为 0.1配合余弦退火CosineAnnealingLR调度器让它随着训练进度从 0.1 平滑降到接近 0。为什么不用固定的学习率想象一下你在山里找最低点。学习率大相当于步子大一开始能快速接近谷底但当你接近谷底时步子太大就容易在谷底附近来回震荡——权重在小范围内反复横跳既浪费时间又难以达到更精确的最优点。学习率小步子细但一开始离谷底远走得慢训练几十个 epoch 还在半路上。余弦退火曲线正好解决了这个矛盾前期保持较大学习率快速逼近后期稳步减小学习率精细调整让 loss 曲线呈现出漂亮的平滑下降。import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR optimizer optim.SGD(model.parameters(), lr0.1, momentum0.9, weight_decay5e-4) scheduler CosineAnnealingLR(optimizer, T_max100) criterion nn.CrossEntropyLoss()T_max100的含义是学习率从初始值经过 100 个 epoch 降到最低点。如果把总训练轮数设为 100这个配置刚好让学习率在训练结束时降到 0。批次大小batch size我固定为 128。这个选择受两方面约束第一是 GPU 显存128 张 32×32×3 的图对我手上的入门级显卡完全无压力第二是batch size 对梯度估计质量的影响batch 太小则梯度估计的方差大训练不稳定batch 太大则梯度方向过于“确定”反而容易收敛到尖锐的局部极小值泛化能力下降。128 在这个任务上是性价比很高的中间值。4.3 训练循环动手实录训练循环的代码逻辑在不同项目之间是高度通用的核心都是一样的前向传播、计算损失、反向传播、更新参数。但有几个细节是新手最容易出问题的地方我建议逐行对照检查。import torch def train_one_epoch(model, train_loader, criterion, optimizer, device): model.train() running_loss 0.0 correct 0 total 0 for inputs, targets in train_loader: inputs, targets inputs.to(device), targets.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, targets) loss.backward() optimizer.step() running_loss loss.item() * inputs.size(0) _, predicted outputs.max(1) total targets.size(0) correct predicted.eq(targets).sum().item() epoch_loss running_loss / total epoch_acc correct / total return epoch_loss, epoch_acc第一个要注意的是optimizer.zero_grad()。PyTorch 的梯度是累积的如果不手动清零上一个 batch 的梯度会和当前 batch 的梯度叠加导致优化方向完全错误。第二个要注意的是model.train()和后面的model.eval()的区别。train()状态下 Dropout 生效eval()状态下 Dropout 关闭、BatchNorm 使用运行时统计量如果不切换模型评估结果会被一个本来就不应该存在的“随机性”污染导致准确率忽高忽低。在训练过程中我也保持了对比意识每完成一个 epoch 就打印当前损失和准确率同时在验证集上做一次评估。这里的评估目标是观察模型是否过拟合所以我同时记录训练准确率和测试准确率两者的差距就直观地告诉我正则化的力度够不够。5. 模型评估与结果分析5.1 评估指标的选择与理解CIFAR-10 这个项目最核心的评估指标就是测试集准确率Accuracy。十个类别样本均衡每个类别 1000 张测试图使用准确率没有类别不平衡导致的偏差问题结果是可信的。但只看准确率还不够我建议多做一个维度每个类别单独统计准确率。这个类别的差异化分析非常有意思。在我训练好的模型上“汽车”“船”“卡车”“飞机”这类结构明确、轮廓清晰的类别准确率通常能到 85% 以上但“猫”“狗”这种互相之间差异小、姿态多变的类别准确率往往只有 70% 左右。“猫”和“狗”的错分情况也很有启发——模型经常把“狗”识别成“猫”而很少把“汽车”识别成“鸟”这说明视觉特征之间的语义距离直接映射到了模型输出的概率分布上。评估流程的代码片段如下def evaluate(model, test_loader, device): model.eval() correct 0 total 0 with torch.no_grad(): for inputs, targets in test_loader: inputs, targets inputs.to(device), targets.to(device) outputs model(inputs) _, predicted outputs.max(1) total targets.size(0) correct predicted.eq(targets).sum().item() print(fTest Accuracy: {100.0 * correct / total:.2f}%) return correct / total这里torch.no_grad()是整个评估流程被提速的关键。在评估阶段我们不需要计算梯度PyTorch 在这一上下文中会跳过自动求导图的构建既省内存又省计算时间。50000 张测试图的推理时间大约会缩短一半以上。5.2 训练曲线解读与过拟合判断把训练过程中记录的 loss 和准确率画成曲线是判断模型是否健康最直观的方法。学习率、正则化强度、模型容量——大量信息都藏在曲线的形状里。我见过最多的一种情况是训练 loss 持续下降训练准确率逐步上升但测试准确率从一开始的 55% 涨到 68% 之后就不动了甚至出现轻微回落而训练准确率还在稳步走向 95%。这是教科书级别的过拟合症状——模型开始“背”训练样本而不是“理解”图像的抽象特征泛化能力的增长速度跟不上记忆能力的增长。针对这个现象调整策略通常有几个方向。第一是适当增加 Dropout 的概率从 0.5 提高到 0.6强制模型降低对单个特征的依赖。第二是调高权重衰减从 5e-4 升到 1e-3增强对权重范数的惩罚。第三是增加数据增强强度比如加入 ColorJitter模拟光照和颜色的变化逼迫模型学习更本质的形态特征。还有一种很实用的思路是减少模型容量——把 Block 3 的 128 个通道降到 64模型可“背”的东西少了只能学会泛化。如果反过来训练 loss 和测试 loss 一直同步下降且差距很小但训练准确率就是上不去卡在 75% 左右——那说明模型欠拟合容量不够需要增加层数或通道数。通过曲线形态反推问题再决定调整方向这套诊断流程比盲目换模型高效得多。5.3 从 70% 到 80%一次有效调参的完整记录我在这里完整记录一次我实际执行的调参过程给想优化效果的朋友一个可以抄作业的参照。第一次训练结束后测试准确率 71.6%训练准确率 89.3%过拟合信号已经很明显了。第一轮调整我把权重衰减从 5e-4 提高到 1e-3Dropout 从 0.5 提高到 0.6同时增加了 ColorJitter亮度调整幅度 0.2对比度调整幅度 0.2饱和度调整幅度 0.2色调调整幅度 0.1。这轮调整后测试准确率到了 75.8%训练准确率下降到 84.5%过拟合曲线明显缓和。第二轮调整我没动模型结构而是选择更换了数据增强策略——去掉 RandomHorizontalFlip改为每次随机选出 10% 的图片做 RandomErasing随机擦除 16×16 的一个矩形区域。这个操作的作用是强迫模型在部分像素丢失的情况下依然能正确识别物体是一种非常强的鲁棒性正则化手段。实验结果是测试准确率 78.2%。第三轮调整我换套路不再堆正则化而是改善优化过程——设置CosineAnnealingLR的T_max从 100 改为 150同时把初始学习率从 0.1 降到 0.05。这个动作的思考角度是之前训练 100 个 epoch 时学习率已经降到接近 0曲线末尾那几轮模型实际上是在“以最小的步长打磨最细的角落”如果把衰减周期拉长模型就多几十轮精细化打磨的机会。最终测试准确率来到 81.3%对一个手写的小型 CNN 来说这个结果已经相当理想了。6. 常见错误与排查实录6.1 训练 loss 不下降的四大原因训练一开始很多人会看到 loss 几乎不变化卡在 2.3 左右。这个数值有讲究CIFAR-10 是均衡的十类分类问题初始交叉熵的理论值就是 ln(10)≈2.303——如果 loss 长时间停留在这个值附近说明模型完全没有学到任何东西。我从实操经验中总结了四个最常见的原因按出现频率排序。第一学习率设置不合理。学习率过小的时候前几百个 batch 内模型参数的更新微乎其微loss 曲线几乎是一条直线。更隐蔽的情况是学习率过大参数更新幅度过大导致 loss 在某个值附近剧烈震荡甚至变成 NaN。这种情况可以试着把学习率从 0.1 降到 0.01或者做一次小范围学习率扫描观察不同学习率下 loss 前 50 个 batch 的下降速度。第二数据归一化没做对。这个是老坑了。如果使用ToTensor()但漏掉了Normalize像素值保持在 [0,1] 范围而不是零中心化模型的数值稳定性会受到直接影响。反过来如果 Normalize 的均值和标准差填错把数据过度拉到负数范围同样会导致收敛困难。检查手段很简单打印一个 batch 的 inputs 统计量确认均值接近 0、标准差接近 1。第三数据加载环节的错位。最常见的是 DataLoader 的shuffleFalse导致每个 epoch 内数据顺序完全一致虽然不至于让 loss 不下降但会显著影响收敛速度。如果每个 batch 内部的样本分布出现系统性偏差——比如前几个 epoch 全是猫——模型就会在一段时间内严重偏向某个类别。第四网络结构问题。如果模型过深且没有合理的初始化或残差连接深层网络的梯度在反向传播过程中可能被连乘的表层梯度不断放大或缩小导致参数更新极其困难。排查时可以试着减少网络层数用同样的超参重新训练如果 loss 开始下降问题基本就在结构上。6.2 显存不足与训练速度慢的提速技巧CIFAR-10 项目虽然图片小但有些人会在 GPU 显存不足的报错面前卡很久。我自己的经验是这个项目在大多数情况下不应该有显存压力如果出现了通常是因为 batch size 设置过大或模型设计过于臃肿。在入门级 GPU 上batch size 256 配合上面的简化 CNN 已经绰绰有余。显存不够时优先考虑两个操作而不是马上去租更高的显存。第一是检查代码里是否在训练循环中莫名其妙地保存了中间变量比如为了画图或调试把每个 batch 的输出收集到列表中这些张量是累积的这个影响几乎等同于把 batch size 翻了好几倍。第二是开启自动混合精度。scaler torch.cuda.amp.GradScaler() for inputs, targets in train_loader: inputs, targets inputs.to(device), targets.to(device) optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(inputs) loss criterion(outputs, targets) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()PyTorch 的自动混合精度技术把模型的前向和反向计算中部分算子切换到 FP16半精度执行内存占用减半计算速度在一些 GPU 上有接近一倍的提升。但要注意的是如果模型精度要求特别高混合精度可能引入微小的数值误差不过 CIFAR-10 分类任务对这一点完全无感。如果训练速度慢到影响体验还有一个简单有效的操作就是把 DataLoader 的num_workers从默认 0 提到 4 或 8。num_workers控制数据预处理比如 RandomCrop使用多少个并行进程它可以避免 GPU 在等待 CPU 喂数据时闲置。不过这个值也不要盲目开大如果机器本身内存不够或者 CPU 核数少反而会增加进程切换的负担。6.3 结果可复现性问题随机种子还有一个容易被忽略的细节是训练结果的可复现性。深度学习训练过程中有大量随机因素比如权重初始化、数据增强中的随机裁剪位置、Dropout 的随机遮蔽、DataLoader 打乱样本顺序。如果不固定随机种子同一份代码每次跑出来的准确率最多有 0.5% 左右的波动。为了调试和对比实验的可信度我建议在脚本入口处固定全局随机种子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False这里cudnn.deterministic True的作用是强制 cuDNN 使用确定性算法而非随机算法确保卷积计算的结果稳定cudnn.benchmark False则是关闭 cuDNN 自动选择最优算法的机制因为 benchmark 模式的探索过程本身就是不确定的。不过要说明的是固定种子不是绝对必要的实际部署中我们关注的是模型的平均表现和鲁棒性而不是某一次具体运行的数字。在做实验对比时固定种子保证对照组和实验组除了要比较的变量之外其他条件完全一致这才是这个操作的真正意义。7. 项目扩展思路CIFAR-10 跑通之后这个项目的天花板远不止于此。我梳理了几个自然衔接的扩展方向难度逐级递增可以根据自己的时间和兴趣选择。第一个方向是模型层面的迭代——引入残差连接ResNet或者更轻量的 MobileNet 结构。ResNet 的核心理念是让网络学习“残差”而不是完整映射通过跨层跳跃连接给梯度提供一条高速公路解决深层网络的退化问题。我自己的实践是把项目里的简化 CNN 换成 ResNet-18在同样的训练配置下测试准确率可以轻松突破 88%。第二个方向是学习策略的升级——尝试不同优化器和学习率调度器的组合。比如把 SGD 换成 AdamW把余弦退火换成 OneCycleLR。OneCycleLR 的思想是让学习率先线性升到高点再线性降到低点相较余弦退火前期的“热身”阶段能让模型更稳定地起步。这类尝试对深化理解训练动力学原理非常有帮助。第三个方向是数据影响的分析——人为减小训练集规模比如只拿 10% 的数据训练观察准确率随数据量变化的曲线。这个实验能实际体会到“数据量是深度学习最稀缺的资源”这句话的含义也会让后续深入数据增强方向的动力更强。第四个方向是知识蒸馏——用一个大模型比如预训练的 ResNet-50作为教师模型指导一个参数量更小的学生模型训练。教师模型的输出不再是一组离散的标签而是一个携带类别间相似度信息的软标签分布学生模型可以从中学到更丰富的知识。这个方向做起来有一定难度但一旦跑通你会发现 81% 准确率的小模型可以向 90% 以上的大模型无限靠近非常惊艳。我在这个项目里的体会是模型结构不是瓶颈数据处理和训练策略才是拉开差距的关键。很多人把时间花在反复堆层数和调参上却忽略了数据增强、学习率调度、正则化之间的配合关系。CIFAR-10 恰好是一个足够复杂又足够小的练兵场把这些基本功打扎实后面迁移到更大的数据集和更多样的任务上心里就有底了。如果你也在做这个项目的学习打卡强烈建议不要只满足于跑通 baseline多从“训练曲线为什么长这样”的角度去思考收获会翻倍。
