简介一套基于卷积神经网络的图像去噪完整实践项目面向深度学习和图像处理初学者、研究者用于学习如何利用CNN恢复受噪声污染的图像也可作为后续视觉任务的实验基础。压缩包内附训练集和测试集涵盖DnCNN等模型涉及卷积层、池化层、激活函数、全连接层、损失函数和优化器等关键环节适合在上手训练的同时理解网络特征提取与去噪原理。资源共428个文件压缩后约60.97MB其中412张PNG图像构成训练与验证样本5个H5模型权重文件对应不同噪声等级的预训练结果另有3个Python脚本用于数据预处理、模型训练与评估并配有4个XML配置和说明文档。目前已有374人学习下载。借助这一项目读者可完成从数据准备、模型构建到测试评估的完整闭环既能直接加载预训练权重查看去噪效果也能基于训练集自行训练尝试调整网络结构、损失函数与优化器并通过PSNR/SSIM等指标量化图像质量为后续研究提供可复用基础。1. 图像去噪模型带着训练集和测试集先别急着跑demo先想清楚这三个问题一张照片放大到100%全是红蓝噪点老片修复完人像边缘还有一圈假轮廓监控截图在低照度下根本认不出车牌——这些问题在技术上都能收敛到同一个需求图像去噪。基于卷积神经网络的图像去噪模型之所以值得你花时间是因为它不再靠人工设计滤波核去“猜”噪声长什么样而是直接用成对的干净图和噪声图把映射关系训练出来。拿到一个打包好训练集和测试集的去噪模型资源最忌讳的事就是直接解压跑个预测看到输出干净图就关掉。真正值钱的不是那个权重文件而是训练集和测试集是怎么组织、怎么加噪、怎么划分的。这篇笔记会从CNN去噪的核心设计讲起一路落到数据生成脚本、训练参数和评估口径让你手里这份资源既能复现也能迁移。2. 卷积神经网络的去噪原理与模型选型残差学习、感受野与一个容易忽略的池化陷阱2.1 卷积网络凭什么比中值滤波强分离噪声与纹理的关键不在“平滑”而在“判别”传统去噪方法比如高斯模糊、中值滤波、双边滤波本质上是假设噪声是高频成分然后用低通滤波把它抹掉。问题是图像里的纹理、边缘、细节同样集中在高频段抹噪声的同时一定在抹细节所以这类方法才会把皮肤修成“塑料脸”、把草地糊成大色块。卷积神经网络的做法从根本上不一样。它不做平滑而是做一个像素级的分类或者回归通过堆叠卷积层扩大感受野让网络学会判断“这个位置的响应更可能是噪声还是结构”。一个重要的前置条件是干净图像本身并不是随机场相邻像素之间有强相关性而独立加性噪声在像素之间没有这种相关性。卷积层用局部权值共享去挖掘空间相关性所以天生适合分离这类噪声。在实际工程里梯队化的信号处理和统计特性分析很快会被下面的式子替代。设带噪图像为 y干净图像为 x噪声为 n那么 y x n。经典的DnCNN系列去噪模型做的事情是预测残差R(y) y - x模型不直接输出干净图而是输出噪声图再用 y - R(y) 得到去噪结果。这样做的优化难度比直接回归 x 要低因为恒等映射部分是已知的网络只需要学一个接近零的残差项。训练时用均方误差约束预测残差和真实噪声之间的距离。这个设计是整个CNN去噪领域最基础也最值得代码落地的出发点。2.2 常见CNN去噪模型怎么选DnCNN、FFDNet和UNet风格不用重新发明网络主流的做法是在下面三类结构里挑一个改改就能用。第一类是DnCNN风格结构非常规矩第一层一个卷积加ReLU中间15层是卷积、BatchNorm、ReLU的堆叠最后一层一个卷积输出。全程不碰池化和步长为2的下采样保证输出和输入尺寸一致。特点是结构简单、参数量可控17层约90万个参数左右具体取决于通道数显存占用小训练稳定。第二类是FFDNet风格它把噪声方差估计做成一个输入通道允许一个模型处理不同强度的噪声。它的下采样只做一次把输入分成四个子图再送进网络兼顾了感受野和分辨率。如果你手里的资源包声称支持“任意噪声水平”大概率是这类结构。第三类是UNet风格有编码器和解码器中间带跳连。这类结构在去除大噪声、保边缘方面有优势但参数多训练时更容易翻车常见的问题是对齐细节出现伪影。对比一下模型风格参数量对噪声强度的支持典型场景DnCNN约85万~120万单sigma训练泛化靠数据增强灰度图、已知噪声强度的场景FFDNet约90万一个模型覆盖sigma在0~50的范围相机原始噪声、盲去噪的前置UNet百万级到千万级可多sigma老照片修复、综合图像复原选型建议如果你第一次跑这套代码选DnCNN风格最不容易踩坑。BatchNorm在批量样本里做归一化这相当于给每层输入固定了分布训练收敛快很多。如果训练集只有几百张图别碰大参数UNet会过拟合到怀疑人生。2.3 卷积神经网络的汇聚层陷阱为什么去噪模型普遍不用池化这里必须单独提一个概念汇聚层池化。在分类CNN里最大池化和平均池化是标配因为它们能压缩特征图、扩大感受野。但在图像去噪里池化是反模式因为最大池化会丢掉亚像素级别的精确位置信息输出图上就会出现模糊的边界和方向性的伪影。很多从分类任务转过来做图像去噪的人第一版模型都会把这个坑踩一遍。所以判断一个去噪模型结构是否合理有一条快速经验看它有没有为了提升感受野而做分辨率减半的操作。传统卷积在层数足够多的情况下感受野支撑了一个像素点看到周围足够大的范围这已经能建模噪声的局部统计特性了。刻意追求更大的感受野在去噪任务里收益很小反而会带来显存和过拟合问题。这一章的结论落到工程上就是先用17层卷积加BN的DnCNN结构通道数64训练集和测试集都按灰度切片准备先把基线跑起来再考虑要不要换FFDNet和UNet。3. 准备训练集和测试集从零生成加噪数据、切patch、固定评估口径3.1 第一步由干净图生成训练对写一个可复现的加噪脚本你手头的干净图像可以是任意自然图像集比如BSD400、Div2K或者项目自己的高清截图。训练集和测试集要放到两个独立目录里这件事请严格一点后面所有评估可信度都依赖它。常见的做法是先建立下列目录结构data/ ├── train/ │ ├── clean/ # 干净的灰度图或RGB图 │ └── noisy_sigma25/ # 加噪后的图像 ├── val/ │ ├── clean/ │ └── noisy_sigma25/ └── test/ ├── clean/ └── noisy_sigma25/生成加噪图像的脚本可以这样写import cv2 import numpy as np import os, glob from tqdm import tqdm def add_gaussian_noise(img, sigma25, seedNone): 给图像叠加高斯噪声sigma是噪声标准差 if seed is not None: np.random.seed(seed) noise np.random.randn(*img.shape) * sigma noisy img.astype(np.float32) noise return np.clip(noisy, 0, 255).astype(np.uint8) clean_files sorted(glob.glob(source_clean/*.png)) os.makedirs(data/train/clean, exist_okTrue) os.makedirs(data/train/noisy_sigma25, exist_okTrue) for i, f in tqdm(enumerate(clean_files)): img cv2.imread(f, cv2.IMREAD_GRAYSCALE) # 训练集不固定种子每个epoch看到的噪声都在变化 noisy add_gaussian_noise(img, sigma25, seedNone) cv2.imwrite(fdata/train/clean/{i:04d}.png, img) cv2.imwrite(fdata/train/noisy_sigma25/{i:04d}.png, noisy)参数说明sigma25意味着噪声标准差约为灰度范围255的10%这是去噪论文里最常用的中等强度噪声评测点。训练集不固定随机种子这样每个epoch的噪声样本都在变化相当于无限数据增强而测试集必须固定种子否则同一张图每次评测PSNR都不一样数字就没法横向比较了。RGB图像加噪需要注意一点不要对R、G、B三个通道分别独立生成随机噪声再叠上去那样会让噪声变成彩色颗粒感和真实相机噪声的分布差异比较大。应该三个通道共用一个噪声掩模或者转为YUV后在亮度通道加噪、色度通道加少量噪声去噪后再转回RGB。具体按你的任务来源调整灰度图数据集则不用讨论这个问题。3.2 切patch模型输入不是整张大图训练速度和语义颗粒度如何平衡图像去噪模型的输入尺寸很少直接用整张原图因为实际图片512×512以上训练时一个batch放不下而且大图的全局统计特征未必有助于局部噪声判别。通用做法是把训练集切成固定大小的patch。下面这个脚本从干净图里滑动窗口切patch并同步切对应的噪声图def extract_patches(img, patch_size128, stride64): h, w img.shape patches [] for i in range(0, h - patch_size 1, stride): for j in range(0, w - patch_size 1, stride): patches.append(img[i:ipatch_size, j:jpatch_size]) return patches # 批量切图 for f in clean_files: img cv2.imread(f, cv2.IMREAD_GRAYSCALE) # 对同一张图产生多个patch相当于扩大样本量 clean_patches extract_patches(img, 128, 64) for k, p in enumerate(clean_patches): cv2.imwrite(fdata/train/clean/{basename}_{k:03d}.png, p)参数说明patch大小128步长64意味着相邻patch有一半重叠样本量翻好几倍。patch太小比如32像素模型看到的上下文太少去噪结果容易出现局部对比度不稳定的现象patch太大比如256显存占用按平方上涨收敛速度也会明显变慢。128是一个中庸且安全的起点。如果显存只有6G可以降到96或80配合batch_size调整。切patch时务必保证训练集和测试集使用不同的切分逻辑。测试集一般不做切块增强直接整图评测这样评测结果代表模型在真实尺寸下的能力而不是在某个特定patch上的能力。3.3 训练集、验证集、测试集三者的边界评估时不能和训练数据有任何泄漏这一步是最容易被忽视的。很多人把数据集简单分成训练集和测试集然后就觉得万事大吉。实际上验证集从训练集里分离出来很有必要——你训练过程中需要每轮看验证集PSNR来判断什么时候保存权重但训练集和验证集的patch如果来自同一张原图模型相当于已经见过验证区域验证PSNR会虚高导致过早“自信”而错过更优的中间权重。推荐做法先按原图粒度切三份再分别切patch。比如一张原始大图只允许出现在训练、验证、测试三者之一它切出的所有patch也都只归属那一方。按图像内容而不是按patch文件去重这是数据泄漏的重灾区。另外测试集加噪使用的随机种子写死成一个固定值比如seed2025记录在训练脚本的配置里。这样任何人用相同的干净图和相同的算法都能复现到同一个PSNR数字避免“我比你高0.3dB”这类因为随机性导致的争执。4. 训练一个去噪模型数据加载器、模型定义、超参数三件套4.1 自定义Dataset训练时实时加噪节省硬盘空间上一章的加噪脚本把噪声图全存到硬盘了这也是一种做法。更常见的做法是只存干净patch训练时在Dataset里实时加噪声。这样硬盘占用减半而且每个epoch采样到的噪声都不同模型不容易死记某一套噪声模式。from torch.utils.data import Dataset import torch class DenoiseDataset(Dataset): def __init__(self, clean_dir, patch_size128, sigma25, trainTrue): self.files sorted(glob.glob(clean_dir /*.png)) self.patch_size patch_size self.sigma sigma self.train train def __len__(self): return len(self.files) def __getitem__(self, idx): img cv2.imread(self.files[idx], cv2.IMREAD_GRAYSCALE) img cv2.resize(img, (self.patch_size, self.patch_size)) img img.astype(np.float32) / 255.0 # 归一化到 [0,1] noise np.random.randn(*img.shape).astype(np.float32) * (self.sigma / 255.0) noisy np.clip(img noise, 0.0, 1.0) # 数据增强随机翻转和旋转去噪任务里照样可以用 if self.train: if np.random.rand() 0.5: noisy, img noisy[::-1], img[::-1] k np.random.randint(0, 4) noisy np.rot90(noisy, k) img np.rot90(img, k) return torch.from_numpy(noisy.copy()).unsqueeze(0), \ torch.from_numpy(img.copy()).unsqueeze(0)参数说明图片在读取时直接缩放到patch_size省去了切patch的代码但这种粗暴resize的做法只在训练时能用测试时绝对不能用。归一化到[0,1]区间之后sigma也要等比例转换成0到1区间否则训练数据分布和评测时对不上。随机翻转旋转放在加噪之后这样噪声的分布也跟着图像一起变换等效于更多样本。4.2 DnCNN模型定义与损失函数选哪个L1还是MSE模型结构沿用2.2节的DnCNN18行代码就能定义class DnCNN(nn.Module): def __init__(self, depth17, in_channels1, out_channels1): super().__init__() layers [] layers.append(nn.Conv2d(in_channels, 64, kernel_size3, padding1, biasFalse)) layers.append(nn.ReLU(inplaceTrue)) for _ in range(depth - 2): layers.append(nn.Conv2d(64, 64, kernel_size3, padding1, biasFalse)) layers.append(nn.BatchNorm2d(64)) layers.append(nn.ReLU(inplaceTrue)) layers.append(nn.Conv2d(64, out_channels, kernel_size3, padding1, biasFalse)) self.net nn.Sequential(*layers) def forward(self, x): noise self.net(x) # 残差输出 return x - noise # 干净图 输入 - 残差逻辑说明这个forward里直接实现了残差学习网络的输出是“噪声图”然后用输入减去噪声得到去噪结果。训练时的监督信号是干净图本身损失函数在MSE和L1之间二选一。MSE和PSNR是直接相关的优化MSE通常能带来更高的PSNR但L1对像素离群值不敏感边缘保持更好训练的收敛曲线也更平稳。实用建议是先用MSE跑基线再试L1看主观效果不要一开始就混用。4.3 训练循环与超参数从小处着手验证训练闭环完整训练脚本的骨架如下from torch.optim import Adam import torch.nn as nn from torch.utils.data import DataLoader device cuda model DnCNN(depth17).to(device) criterion nn.MSELoss() optimizer Adam(model.parameters(), lr1e-3) train_ds DenoiseDataset(data/train/clean, patch_size128, sigma25, trainTrue) val_ds DenoiseDataset(data/val/clean, patch_size128, sigma25, trainFalse) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) best_psnr 0.0 for epoch in range(100): model.train() for noisy, clean in train_loader: noisy noisy.to(device) clean clean.to(device) out model(noisy) loss criterion(out, clean) optimizer.zero_grad() loss.backward() optimizer.step() model.eval() psnr_val evaluate_psnr(model, val_ds) # 你自己的评估函数 if psnr_val best_psnr: best_psnr psnr_val torch.save(model.state_dict(), best_dncnn.pth) print(fepoch {epoch}, loss {loss.item():.6f}, val PSNR {psnr_val:.2f}dB)参数说明batch_size32在128×128灰度高patch下显存消耗约4G到6G如果显存不够优先把patch_size降到96而不是把batch降到4因为小batch的BN统计量不稳定去噪效果会波动。Adam初始学习率1e-3通常会在20到40个epoch内让验证PSNR爬到31dB以上sigma25灰度图BSD68风格数据集之后可以按epoch数做线性衰减到1e-4。每轮做验证并只保存best权重的策略至关重要因为训练后期模型loss微降但PSNR可能已经停止增长多跑几十轮也不会改善。5. 去噪模型训练的5个翻车现场与排查要点5.1 训练loss一直降验证PSNR原地不动现象训练集loss曲线平稳下降但验证集PSNR从第5轮开始就不涨了图像输出看着像蒙了一层雾。 原因训练集和验证集加噪方式不一致。常见于训练时实时加高斯噪声而验证时用了之前预存好的噪声图或者验证集噪声sigma和训练不一致。另一个隐蔽原因是训练时做了随机翻转旋转增强验证时没做模型对翻转后的语义分布有偏见。 解决确认训练和验证用的是同一份干净图切分、同一个sigma、同一个加噪分布。把验证集改成和训练集完全相同的实时加噪流程随机种子固定住先跑10个epoch做闭环验证。5.2 去噪结果出现规则的网格状伪影现象看输出图没大问题但把图放大到200%发现每几个像素就有方块纹理像棋盘一样。 原因典型原因是网络某一层用了stride2或者出现了转置卷积。去噪模型要求输出和输入像素级对齐任何改变特征图分辨率的操作都会在输出上留下周期性伪影。另一个原因是在输入切patch时把图像转换成tensor之后类型为float64训练一半报错后强转float32数据值域出现微小截断误差这种误差在背景区域被网络放大成纹理。 解决检查网络里是否所有卷积都是kernel3、stride1、padding1。图片加载统一用float32除法和归一化都放在同一段代码里不要在前处理时反复切换numpy和torch的默认精度。5.3 评估PSNR翻车同一模型复现别人论文的数字差2dB以上现象模型非常干净训练代码也没有报错但复现一篇论文的PSNR总是低1.5到2dB。 原因评估口径不一致。最常见的三个坑一是论文在计算PSNR时去掉了图像边缘若干像素padding区域因为你没裁剪所以边界像素拉低了均值二是论文用RGB整图评估你却在灰度图上评估或者反过来三是测试前把图像先resize到了不同尺寸分辨率本身就成了误差源。 解决写评估函数时复位一个固定流程先做去噪推理输出clip到[0,255]转uint8然后和真实clean图对比。对比前用统一的边界裁剪策略比如去掉10像素的边界。PSNR公式统一为10 * log10(255^2 / MSE)SSIM用skimage的win_size固定为7。把评估代码封装成一个函数每一次试验都走同一入口数字才具有可比性。5.4 彩色图像越去噪噪点越彩甚至偏色现象RGB图去噪后原来没有颜色的暗部区域出现了红绿色的彩噪整体色偏。 原因三个通道独立加噪、独立训练网络对每个通道的噪声统计特征学习不同输出时三个通道的残差不一致于是引入了伪彩色。更常见的错误是训练时把RGB图转换成灰度图推理时却直接吃RGB输入模型看到的通道数和训练不一致。 解决要么严格按灰度图训练、灰度图推理要么RGB训练时对三通道使用共享噪声种子加噪这样网络学到的是亮度噪声而不是随机彩噪。偏色问题时检查输出图的均值是否和输入图接近如果每个通道的均值偏移超过几个灰度级说明训练时没有做零均值处理。5.5 一上GPU训练就OOMbatch_size调到4还是爆显存现象输入128×128灰度patchbatch_size32直接显存溢出调到4也报错。 原因先别急着怪显存太小。看两个细节激活的梯度是否被backward两次或者BatchNorm在单卡上用了分布式参数。还有一种工程原因DataLoader的num_workers和pin_memory同时开把CPU内存挤爆误报成显存报错。当然最重要的一层是模型自身UNet类模型中间特征图通道数是DnCNN的好几倍即使batch为4也会爆。 解决先用最小的配置验证模型能否前向传播batch_size1、patch_size64跑一步看显存占用。然后逐步放大这样能定位是模型结构问题还是数据加载问题。训练时可以用梯度累积模拟大batch每4个小batch累积一次梯度再更新效果接近大batch且显存占用不变。6. 验证模型效果并迁移到真实噪声PSNR、SSIM与盲去噪的最后一公里6.1 一套可信的PSNR/SSIM评估代码边界处理是分水岭测试阶段的评估函数建议这样写def evaluate_psnr_ssim(model, test_dir, sigma25, border10, seed2025): model.eval() total_psnr, total_ssim [], [] rng np.random.RandomState(seed) for f in sorted(glob.glob(test_dir /*.png)): clean cv2.imread(f, cv2.IMREAD_GRAYSCALE).astype(np.float32) / 255.0 noise rng.randn(*clean.shape) * (sigma / 255.0) noisy np.clip(clean noise, 0, 1) inp torch.from_numpy(noisy).unsqueeze(0).unsqueeze(0).float().cuda() with torch.no_grad(): out model(inp).cpu().numpy().squeeze() if border 0: out, clean out[border:-border, border:-border], clean[border:-border, border:-border] mse np.mean((out - clean) ** 2) psnr 10 * np.log10(1.0 / mse) ssim compare_ssim(clean, out, data_range1.0, win_size7) total_psnr.append(psnr) total_ssim.append(ssim) return np.mean(total_psnr), np.mean(total_ssim)逻辑说明去噪模型的输入是噪声图输出是干净图所以推理时只需要喂noisy张量。border10意味着丢弃图像四周10像素后再算PSNR这部分像素靠近边界、卷积padding不完整不去除会系统性拉低指标。固定随机种子确保多轮实验拿到的测试噪声一致。6.2 从高斯噪声到真实噪声一个简单盲去噪习惯论文里跑通的模型几乎都是对固定sigma的高斯噪声有效但实际遇到的图像噪声来源复杂——手机CMOS的读出噪声、JPEG压缩噪声、热噪都不是像素独立的。如果你去噪之后发现真实照片的噪点还在而且图像被过度柔化问题不在于模型训练不够好而在于模型假设错了。FFDNet的思路值得借鉴除了带噪图像本身把噪声水平估计值当作一个额外通道输进模型。你不需要重新训练模型可以在自己的数据上做一个更轻量的适配在训练集里混入多个sigma比如5、15、25、35、50每个batch随机抽取一个sigma来加噪训练时告诉模型当前batch的sigma值。推理时先用快速噪声估计算法估算一个全局sigma再送进网络。这样你的模型就从“单一sigma去噪器”变成了“可调盲去噪器”。6.3 把去噪能力变成其他任务的前处理而不是终点做检测或分割项目的朋友常把去噪模型当成一个固定的预处理模块挂在pipeline里。建议养成一个习惯单独评测去噪后对下游任务指标的提升幅度而不是只盯着PSNR。有时候PSNR提升0.5dB但接缝、伪影反而干扰了边缘检测。在保存模型时除了输出干净图也保留一个残差可视化看一眼网络主要去除的是不是真实的噪声结构。这也是我最想分享的一点卷积神经网络做图像去噪值得投入的不是把论文模型复现出来那一刻而是你真正建立了一套从数据生成、训练监控到评估口径的闭环流程之后换任何数据集和噪声模型都只是调参数而不是重做工程。希望这篇笔记的落地路径能帮到你省下几个晚上查错的时间。本文还有配套的精品资源点击获取
