简介这是一套面向深度学习入门者与验证码识别实践者的端到端项目资源基于PyTorch与ImageCaptcha构建CNN模型无需字符切割、尺寸归一化或特征提取即可直接识别验证码覆盖纯数字、数字加大小写字母等场景。包内共52个文件以40张png验证码样本、8个py训练与预测脚本为主另含docx设计报告、md说明及license等压缩包约899KB目录按dataset、train、test、predict分层组织便于按流程复现。纯四位数字识别率可达99.9999%数字加大写字母约96%。已有641人学习下载。读者可获得完整源码、训练数据、模型定义与设计报告理解端到端识别思路并快速迁移到自有验证码任务。1. 验证码识别为什么成了 Python 神经网络最值得练手的实战场景做爬虫的、做自动化测试的、搞数据采集的几乎都绕不开验证码这道坎。图形验证码、字符型验证码、带干扰线的数字运算验证码每次遇到都得停下来想办法。有人用 OCR 库硬扛有人手动打码但真正想稳定批量处理绕来绕去还是得回到 Python 加神经网络这条路。这个方向之所以值得投入是因为它把图像预处理、卷积神经网络设计、数据增强、模型训练与推理部署串成了一条完整的工程链路练完一遍你对深度学习落地的理解会比跑十个 MNIST 示例都扎实。而且验证码识别的数据可以自己生成不需要依赖任何外部数据集一台普通笔记本就能跑通全流程。下面我从数据生成、模型选型、训练调参到实际推理把这条路上我踩过的坑和验证过的做法讲清楚。2. 验证码数据集怎么造从字符渲染到干扰线叠加的完整脚本2.1 为什么自己生成数据比找现成数据集更靠谱网上能找到的验证码数据集要么字符集不匹配要么干扰样式和你实际遇到的不一样拿来训练往往效果很差。常见做法是用 PIL 的 ImageDraw 模块自己渲染。你可以精确控制字符集、字体、字号、旋转角度、干扰线数量和噪声类型生成的数据和你的目标场景高度一致。我一般会先生成一批看看效果确认干扰强度合适再批量产出。这里有个血泪经验干扰线不能太粗否则字符被完全遮挡模型学不到有效特征也不能太细太细的话模型可能直接忽略干扰到了真实场景就翻车。2.2 生成脚本与关键参数说明import os import random from PIL import Image, ImageDraw, ImageFont, ImageFilter CHARS 0123456789abcdefghijklmnopqrstuvwxyz WIDTH, HEIGHT 160, 60 FONT_PATH /usr/share/fonts/truetype/dejavu/DejaVuSans-Bold.ttf FONT_SIZE 36 CHAR_COUNT 4 NOISE_LINE_COUNT 3 ROTATE_RANGE (-25, 25) def random_color(low0, high200): return (random.randint(low, high), random.randint(low, high), random.randint(low, high)) def generate_captcha(save_path, label): img Image.new(RGB, (WIDTH, HEIGHT), (255, 255, 255)) draw ImageDraw.Draw(img) font ImageFont.truetype(FONT_PATH, FONT_SIZE) # 逐字符绘制每个字符独立旋转 char_width WIDTH // (CHAR_COUNT 1) for i, ch in enumerate(label): char_img Image.new(RGBA, (char_width, HEIGHT), (255, 255, 255, 0)) char_draw ImageDraw.Draw(char_img) char_draw.text((5, 5), ch, fontfont, fillrandom_color(0, 150)) angle random.randint(*ROTATE_RANGE) char_img char_img.rotate(angle, expandFalse) img.paste(char_img, (i * char_width 10, 0), char_img) # 叠加干扰线 for _ in range(NOISE_LINE_COUNT): x1, y1 random.randint(0, WIDTH), random.randint(0, HEIGHT) x2, y2 random.randint(0, WIDTH), random.randint(0, HEIGHT) draw.line([(x1, y1), (x2, y2)], fillrandom_color(100, 220), width1) # 加高斯模糊让边缘更自然 img img.filter(ImageFilter.GaussianBlur(radius0.5)) img.save(save_path) if __name__ __main__: os.makedirs(dataset/train, exist_okTrue) for idx in range(5000): label .join(random.choices(CHARS, kCHAR_COUNT)) generate_captcha(fdataset/train/{label}_{idx}.png, label)这段脚本的核心逻辑是每个字符单独渲染再旋转粘贴避免整体旋转导致字符间距失真。ROTATE_RANGE控制旋转幅度一般正负 25 度足够再大模型很难学。NOISE_LINE_COUNT建议从 2 到 4 之间调超过 5 条干扰线会让准确率明显下降。GaussianBlur的 radius 不要超过 1.0否则字符笔画糊成一团。生成 5000 张训练图大概需要两三分钟验证集再生成 1000 张文件名里直接带标签后续写 DataLoader 时解析文件名就能拿到 label省去单独维护标注文件的麻烦。2.3 数据增强要不要做怎么做验证码识别场景下数据增强要克制。随机裁剪和水平翻转基本没用因为验证码字符位置和方向是固定的。真正有效的是小幅度亮度对比度扰动和轻微高斯噪声。我一般用 torchvision 的 ColorJitter 加一个自定义的高斯噪声变换概率控制在 0.3 左右。增强太猛反而会让模型把噪声当成特征训练 loss 降得很快但验证集准确率上不去这就是典型的过拟合到增强分布上了。3. 用 CNN 搭验证码识别模型结构选择与训练参数怎么定3.1 为什么选 CNN 而不是全连接或 RNN验证码是典型的图像任务字符的空间特征非常关键。全连接网络会把二维图像拉平丢失位置信息效果通常很差。RNN 系列适合序列建模但验证码的字符之间没有时序依赖用 RNN 属于杀鸡用牛刀。CNN 的卷积核天然适合提取笔画、边缘、角点这些局部特征配合池化层逐步扩大感受野能很好地捕捉字符的整体结构。常见做法是堆四到五个卷积块每个块包含卷积、BN、ReLU、池化最后接全连接层输出每个字符位置的分类结果。3.2 模型定义与输出层设计import torch import torch.nn as nn class CaptchaCNN(nn.Module): def __init__(self, char_count4, num_classes36): super().__init__() self.char_count char_count self.num_classes num_classes self.features nn.Sequential( nn.Conv2d(3, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2), # 80x30 nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2), # 40x15 nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d(2), # 20x7 nn.Conv2d(128, 256, 3, padding1), nn.BatchNorm2d(256), nn.ReLU(), nn.AdaptiveAvgPool2d((2, 2)) # 固定输出尺寸 ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(256 * 2 * 2, 512), nn.ReLU(), nn.Dropout(0.3), nn.Linear(512, char_count * num_classes) ) def forward(self, x): x self.features(x) x self.classifier(x) # reshape 成 (batch, char_count, num_classes) return x.view(-1, self.char_count, self.num_classes)这里的关键设计是输出层。每个字符位置独立做一次 36 分类最后用 CTC 或者直接交叉熵逐位置计算 loss。我一般用逐位置交叉熵因为验证码字符位置基本固定不需要 CTC 的对齐机制。AdaptiveAvgPool2d((2,2))是为了让输入尺寸变化时全连接层不用改结构实际部署时更灵活。Dropout 设 0.3 是经验值再高容易欠拟合再低正则效果不够。3.3 训练循环与学习率调度from torch.utils.data import DataLoader, Dataset from PIL import Image import os import torch.optim as optim class CaptchaDataset(Dataset): def __init__(self, root_dir, transformNone): self.samples [] self.transform transform for fname in os.listdir(root_dir): if fname.endswith(.png): label fname.split(_)[0] self.samples.append((os.path.join(root_dir, fname), label)) def __len__(self): return len(self.samples) def __getitem__(self, idx): path, label self.samples[idx] img Image.open(path).convert(RGB) if self.transform: img self.transform(img) # 把字符串标签转成索引张量 label_tensor torch.tensor([CHARS.index(c) for c in label], dtypetorch.long) return img, label_tensor train_dataset CaptchaDataset(dataset/train, transformtrain_transform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue, num_workers4) model CaptchaCNN().cuda() criterion nn.CrossEntropyLoss() optimizer optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-4) scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max30) for epoch in range(30): model.train() total_loss 0 for imgs, labels in train_loader: imgs, labels imgs.cuda(), labels.cuda() preds model(imgs) # (B, 4, 36) loss sum(criterion(preds[:, i, :], labels[:, i]) for i in range(4)) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() scheduler.step() print(fEpoch {epoch}, Loss: {total_loss / len(train_loader):.4f})batch_size 设 64 在 8G 显存上比较稳再大容易 OOM。学习率用 1e-3 配合 CosineAnnealing 是比较通用的组合如果你发现 loss 震荡厉害降到 5e-4 试试。AdamW 的 weight_decay 设 1e-4 能一定程度抑制过拟合。训练 30 个 epoch 通常足够如果验证集准确率还在涨可以继续加。注意每个字符位置的 loss 是分别计算的不能直接把 (B, 4, 36) 丢给 CrossEntropyLoss得逐位置算再求和。4. 验证码识别落地时最容易翻车的五个坑4.1 训练集准确率 99% 但实际推理一塌糊涂现象是训练 loss 降到很低验证集准确率也不错但拿真实网站验证码一测准确率不到 30%。原因通常是训练数据分布和真实场景差异太大比如字体不同、背景色不同、干扰线样式不同。解决办法是拿一批真实验证码做微调哪怕只有几百张效果也会明显提升。另一个原因是模型过拟合到了生成数据的特定噪声模式上这时候加数据增强或者减少模型参数量都有帮助。4.2 验证码字符粘连导致分割失败现象是模型对单字符识别还行但遇到字符挨得近的验证码就频繁出错。原因是逐位置分类假设字符位置固定但实际验证码字符间距可能变化。解决办法是在生成数据时就加入随机间距扰动让模型学会适应不同间距。如果粘连特别严重可以考虑用 CTC loss 替代逐位置交叉熵让模型自己学对齐。4.3 学习率设太大导致 loss 变 NaN现象是训练几个 batch 后 loss 突然变成 NaN。原因是学习率过大导致梯度爆炸尤其是用了 BatchNorm 的网络对学习率比较敏感。解决办法是把学习率降到 1e-4 甚至 5e-5同时加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)。另外检查输入数据有没有归一化像素值没归一化到 0-1 或 -1-1 之间也容易引发这个问题。4.4 推理时忘记切换 eval 模式现象是单张图片推理结果和训练时验证结果不一致波动很大。原因是模型还在 train 模式Dropout 和 BatchNorm 的行为和 eval 模式不同。解决办法很简单推理前加model.eval()并且用with torch.no_grad():包住推理代码。这个坑很隐蔽因为不会报错只是结果不稳定新手很容易在这里卡很久。4.5 部署时输入尺寸和训练时不匹配现象是本地测试好好的部署到服务上就报维度错误或者结果全错。原因是推理时图片尺寸和训练时不一致CNN 的 AdaptiveAvgPool 虽然能缓解这个问题但如果尺寸差异太大特征分布会偏移。解决办法是在推理预处理里强制 resize 到训练时的尺寸并且保持相同的归一化参数。我一般会把预处理参数写进配置文件训练和推理共用同一份避免手动改漏。5. 把识别率从 85% 推到 97% 的三个进阶技巧5.1 用标签平滑和混合增强稳住泛化标签平滑是我在验证码任务里最常用的技巧之一。把硬标签从 1 改成 0.9其余类别平分 0.1能明显缓解模型对训练数据的过度自信。配合 MixUp 增强把两张验证码按比例混合标签也按比例混合模型学到的决策边界会更平滑。实测在 5000 张训练集上标签平滑能把验证集准确率从 88% 提到 92% 左右MixUp 再加 2 到 3 个点。注意 MixUp 的 alpha 参数不要设太大0.2 到 0.4 之间比较合适太大反而会让字符特征模糊。5.2 用学习率预热和余弦退火组合前几个 epoch 用线性预热把学习率从 1e-5 慢慢升到 1e-3然后再用余弦退火降下去。这个组合对 CNN 特别友好能避免训练初期梯度不稳定导致的震荡。代码上就是在 scheduler 外面包一层 warmup 逻辑前 3 个 epoch 手动调整 lr之后交给 CosineAnnealingLR。我对比过加了预热之后模型收敛需要的 epoch 数少了大概 20%最终准确率也高 1 到 2 个点。5.3 用 TTA 在推理阶段再榨一点准确率TTA 就是测试时增强对同一张验证码做几种轻微变换比如亮度微调、小角度旋转分别推理后取平均概率。这个技巧在比赛里很常见实际落地时如果对延迟不敏感也可以用。我一般做三种变换原图、亮度加 10%、亮度减 10%然后对三个输出的 softmax 概率求平均。实测能再提 1 到 1.5 个点代价是推理时间变成三倍。如果服务 QPS 要求高可以只做原图和一种变换折中一下。def predict_with_tta(model, img_tensor): model.eval() transforms [ lambda x: x, lambda x: torch.clamp(x * 1.1, 0, 1), lambda x: torch.clamp(x * 0.9, 0, 1), ] probs [] with torch.no_grad(): for t in transforms: out model(t(img_tensor).cuda()) probs.append(torch.softmax(out, dim-1)) avg_prob torch.stack(probs).mean(dim0) return avg_prob.argmax(dim-1)这段 TTA 代码逻辑很直白三种变换分别推理再平均。torch.clamp保证像素值在合法范围内。实际用的时候可以把变换列表做成配置项方便按场景开关。我自己的习惯是训练阶段就把验证集上的 TTA 效果测出来如果提升不到 1 个点就不上毕竟推理成本翻倍不是所有场景都愿意承担。这套流程跑下来从数据生成到模型部署大概两三天能搞定后面遇到新的验证码样式重新生成一批数据微调就行边际成本很低。希望帮到你。本文还有配套的精品资源点击获取
