简介这一压缩包是一份面向图像超分辨率与生成对抗网络GAN开发者的完整项目资料源自用户 crewxbh 对原生 ESRGAN 的扩展版本。ESRGAN 能显著提升低分辨率图像的清晰度资源中同时涉及 waterpck 相关的水印处理或图像修复内容适合计算机视觉入门、算法复现与二次开发参考。压缩包共 28 个文件以 PNG/JPG 效果对比图、Python 脚本、GIF 动图、Markdown 文档及 LICENSE 许可证为主整体约 9.16 MB其中图片用于展示训练过程与超分前后差异脚本提供模型定义与推理代码文档则包含环境配置和使用说明。包内还带有模型目录、低分辨率输入示例及多组测试图像便于直接运行验证项目目录将核心代码、测试图片与说明文档分开存放结构清晰。已有 205 人学习/下载适合具备一定深度学习基础、希望快速上手 ESRGAN 或扩展水印场景的开发者。1. ESRGAN 这个项目下载包容易跑通全看细节ESRGAN 这个项目名字看着唬人拆开其实就是三件事一个基于 RRDB 的生成器网络、一个相对论判别器、外加一堆预训练权重。我最初下载它是为了把 720p 的老视频放大到 1080p 再交给去噪流程结果发现真正卡我的不是网络结构而是从拿到 zip 到跑出第一张图之间的所有「破事」——文件名被转存工具改得乱七八糟、解压软件报错、PyTorch 版本和 2018 年的老代码对不上。这篇笔记把我拆这个包的完整过程写出来怎么解压、怎么对版本、怎么把单张图跑通、中途踩了哪些坑以及最后怎么用它批量处理视频帧。适合做老照片修复、视频增强、监控画面超分的人新手照着走能出图熟手可以直接跳去第 5 章看坑。2. 解压还原工程这不是普通的 zip先搞清楚里面装的是什么2.1 文件名里的信息量heyo、crewxbh、waterpck 都是什么手头这个包的文件名长这样ESRGAN-master_heyo_ESRGAN-master_crewxbh_waterpck_zip。第一眼很劝退但拆开看其实是几段信息拼在一起的。ESRGAN-master是仓库名加分枝名。GitHub 上下载源码 zip 时默认命名规则就是仓库名-分支名所以master表示你拿到的是主干分支的代码不是 release 标签页里的某个版本。heyo和crewxbh大概率是转存平台或打包者的标识可能是网盘链接里的用户 ID也可能是某个内部分发系统自动拼接的参数。waterpck这个后缀我一开始以为是water packet解压后看才知道是打包者塞进来的一个数据目录里面是几张水下图像和对应的低分辨率版本。名字里的pck更像是 package 的缩写说明这个包不是干净的官方源码而是别人在官方代码基础上加了测试数据再打包的。这种带人名的 zip要格外留意。常见做法是先解压到临时目录核对顶层目录是不是标准的 ESRGAN 工程结构再决定要不要用它。别直接双击打开就往项目目录里拖万一里面混了打包者的个人配置比如绝对路径的配置文件后面跑起来全是玄学错误。解压工具我强烈建议用 7-Zip别用系统自带的右键全部提取。系统自带解压器对 zip 伪加密、文件名编码异常的处理很弱遇到 CRC 错误直接中断不会告诉你哪个文件坏了。7-Zip 可以强制忽略错误继续解压能多救回几个文件。这块在第 5 章避坑部分会展开说。# 在 Windows 上装好 7-Zip 后右键压缩包 → 7-Zip → Extract Here # 或者在命令行里 7z x ESRGAN-master_heyo_ESRGAN-master_crewxbh_waterpck_zip -oD:\projects\ESRGAN提示-o参数是输出目录注意-o和路径之间没有空格这是 7-Zip 的固定语法写错了会直接报错。解压完之后第一件事是核对目录结构。ESRGAN 官方工程解压后应该有codes/这个核心目录里面包含models/、data/、experiments/、test.py、train.py。如果你的包里目录名不对或者codes里面空荡荡的说明转存过程中丢了文件这时候别继续往下走重新找完整的包。2.2 目录结构速查哪些是核心文件哪些可以忽略拿到解压后的工程先用一条命令看顶层结构# Linux / macOS 下 find . -maxdepth 2 -type d | sort # Windows PowerShell 下 Get-ChildItem -Depth 1 | Select-Object FullName典型的标准结构长这样ESRGAN-master/ ├── codes/ │ ├── data/ # 数据加载器训练和测试时读取图像的入口 │ ├── experiments/ # 预训练权重和训练日志都在这 │ ├── models/ # 网络结构定义RRDB、判别器、损失函数 │ ├── options/ # 训练/测试参数配置文件 │ ├── test.py # 推理脚本我们主要用这个 │ ├── train.py # 训练脚本一般用不到 │ └── utils/ # 工具函数图像读写、日志 ├── LICENSE └── README.mdmodels/是核心中的核心里面RRDB_net.py定义了生成器网络module.py里封装了训练和推理逻辑。experiments/pretrained_models/是权重目录你需要把下载好的.pth文件放进去。options/下有三个配置文件其中test/test_ESRGAN.yml是推理时用的参数里面能改输出目录、是否能自集成等选项。需要说明的是这个包里多了waterpck目录里面是一组低分辨率的水下照片。这属于打包者的个人数据你跑通流程后拿自己的图片替换即可。如果目录里只有这些图片但没有对应的脚本别纠结它为什么存在它不影响主流程。2.3 不要做的事把.jpg改成.zip之类的「野路子」网上搜「jpg 文件怎么改成 zip」能出来一堆结果这种需求通常是有人发了图片格式的压缩包想暴力改扩展名来解压。ESRGAN 这个包不适用这个套路它是货真价实的 zip 格式不是伪装的图片。还有一种情况是「图片格式的压缩包」其实是真的 zip但扩展名被改了这种情况 7-Zip 打开时会提示头文件损坏手动把扩展名改回.zip就能正常打开。判断方法很简单用 7-Zip 打开文件如果里面能看到目录树说明文件头没坏如果提示无法作为压缩包打开那才是伪加密或真损坏。伪加密是另一个常见坑。zip 格式的加密标志位被设置后即使文件内容没有真正加密解压软件也会要密码。遇到这种情况先用 7-Zip 打开看文件列表如果能看到文件名但解压时突然要密码基本可以断定是伪加密。破解伪加密不需要什么特殊工具7-Zip 本身就能绕过大部分这类保护。第 5 章避坑部分我会给一套完整的处理顺序。3. 环境搭建PyTorch 版本对齐是最大的省心手段3.1 为什么 2018 年的代码必须配老版本 PyTorchESRGAN 官方代码发布于 2018 年训模型用的是 PyTorch 0.4.1 到 1.0 那一代。代码里有大量老式写法比如.data取张量、volatileTrue标志、旧风格的状态字典读写。PyTorch 2.x 出了以后很多旧 API 被移除或改了行为直接跑test.py最常见的报错是AttributeError: module torch has no attribute set_default_tensor_type或者加载权重时报 state_dict 的 key 对不上。我一般会选 PyTorch 1.8.1 搭配 torchvision 0.9.1配合 CUDA 11.1。这个组合对 ESRGAN 的老代码兼容性最好不需要改源码就能直接跑推理。如果是 NVIDIA 显卡驱动很新、只想用 CPU 跑通流程也可以装 PyTorch 1.13.1 的 CPU 版代码层面不用动只是速度慢很多。不建议用最新版 PyTorch 硬跑然后靠改源码去适配。你当然可以把.data全部改成[0]把volatile去掉但这种改动在单个文件里可能只有几处在训练脚本里会牵涉到损失计算和优化器的状态管理改完你根本不知道是不是改对了。跑推理用老版本省下的时间远超重装环境的时间。3.2 用 conda 建环境完整步骤# 创建虚拟环境指定 Python 版本 3.8 conda create -n esrgan python3.8 -y # 激活环境 conda activate esrgan # 安装 PyTorch 1.8.1 CUDA 11.1 版本 # 注意 -c 指定的源渠道装的是官方预编译包 conda install pytorch1.8.1 torchvision0.9.1 cudatoolkit11.1 -c pytorch -c conda-forge # 安装其他推理依赖 pip install opencv-python numpy pyyaml tqdmPython 3.8 是这套代码兼容性最好的版本。Python 3.10 以上会出现collections.Iterable被移除导致的导入错误opencv-python的新版本对 numpy 的版本要求也可能冲突所以用 3.8 最省心。cudatoolkit11.1是 CUDA 运行库的 conda 版本和驱动没有关系。你的显卡驱动需要支持 CUDA 11.1 以上一般 2018 年后的驱动都没问题。安装完成后输入下面的命令验证输出True说明 PyTorch 能正常调用显卡import torch print(torch.__version__) # 期望输出 1.8.1 print(torch.cuda.is_available()) # 期望输出 True3.3 Linux 离线环境怎么装如果你在隔离内网工作没法直接pip install搜「zip linux 离线下载」看到的那种方法在这里同样适用。先把安装包下载好带到目标机器上# 在一台能联网的同架构机器上 pip download torch1.8.1 torchvision0.9.1 -d ./offline_packages/ # 把 offline_packages 整个目录拷贝到目标机器 # 然后在目标机器上 pip install --no-index --find-links./offline_packages torch torchvision这里有个细节pip download默认只下载当前平台的 wheel如果你的目标机器是 ARM 架构需要在下载时加--platform和--python-version参数。常见做法是直接在目标机器上跑一次pip download看报错信息它会告诉你需要哪个平台的包和版本号再决定怎么下载。CPU 版的 PyTorch 在离线安装时会顺带下载typing_extensions之类的依赖这些也要提前pip download一起带过去。我踩过一次坑以为只要 torch 和 torchvision 两个 wheel 就够了结果缺了torchvision依赖的pillow和numpy在目标机器上折腾了半小时才补齐。验证环境是否就绪还有一个更狠的办法直接跑一段 3 分钟的 CPU 推理不测试 CUDA。因为torch.cuda.is_available()在驱动不匹配时也可能返回奇怪的结果真实跑一次前向传播比任何检查都靠谱。4. 跑通第一张超分图test.py 的参数没你想的那么玄4.1 权重文件放哪、用哪个推理前需要准备预训练权重。ESRGAN 官方提供两个常用权重RRDB_ESRGAN_x4.pth和RRDB_PSNR_x4.pth。前者是在 PSNR 模型基础上用感知损失和相对论判别器微调出来的纹理更锐利但可能在平滑区域产生奇怪的伪影后者是纯 PSNR 优化保守稳定适合照片修复类场景。把下载好的权重放到codes/experiments/pretrained_models/下。注意路径千万别带中文后面会解释原因。如果你的包是别人转存的可能在waterpck目录里也发现了权重文件优先用官方命名的那两个因为test.py的默认配置里写的就是这两个路径。4.2 单张图推理命令进入codes目录执行cd codes python test.py \ --model_path experiments/pretrained_models/RRDB_ESRGAN_x4.pth \ --test_path ../waterpck/low_res_sample.jpg \ --output_path ../outputs参数说明model_path权重的完整路径。有些转存包会改变目录结构experiments不在codes下路径写错了会直接AssertionError。test_path输入图片路径。支持单张图片也支持指向一个文件夹脚本会自动用ImageFolder的方式读目录下所有图片。output_path输出目录脚本会自动创建不需要你先建好。命令跑起来后终端会打印当前图片的分辨率、模型推理耗时和 PSNR 值。第一次跑通大概需要 10 到 30 秒取决于显卡CPU 跑一张 128×128 的图可能要 2 分钟以上这是正常的。4.3 self_ensemble花 8 倍时间提升一点 PSNR到底选不选test.py还有一个参数值得单独说self_ensemble。官方脚本里它是布尔值默认为False。把它设为True后模型会对输入图做 8 个方向的翻转和旋转保持、90°、180°、270° 以及各自的水平翻转分别超分后再逆变换融合。这个技巧叫自集成能让 PSNR 提升 0.1 到 0.3 dB 左右代价是推理时间乘 8。python test.py \ --model_path experiments/pretrained_models/RRDB_ESRGAN_x4.pth \ --test_path ../waterpck/low_res_sample.jpg \ --output_path ../outputs \ --self_ensemble True我个人的习惯是跑正式项目时开自集成因为图片数量少、质量要求高。跑视频帧序列时关掉它因为视频有几百帧8 倍时间完全不可接受。另外自集成的融合逻辑在边缘处可能造成轻微的模糊重影如果输出的图片边缘有叠影感先关掉自集成对比一张通常能找到原因。下面这个表是我实测下来对不同输入图的选型建议输入图片类型推荐权重自集成备注老照片扫描件RRDB_PSNR_x4开保守少伪影游戏截图 / 动漫画面RRDB_ESRGAN_x4开纹理锐利监控视频帧RRDB_ESRGAN_x4关批次处理保速度人脸特写RRDB_PSNR_x4开ESRGAN 权重会强化皮肤纹理容易显脏跑完去outputs目录看结果。如果输出图片全是黑的或者尺寸没有变化多半是前向传播时输入张量归一化出了问题回到第 3 章检查 PyTorch 版本。4.4 把输出文件命名和格式理清楚test.py默认输出格式是.png文件名和输入一致。如果你跑的是一个目录脚本会把所有结果写到同一个output_path下不会保留子目录结构。这在你后面做批量处理时要想清楚最好一次只喂一个目录的文件。有些转存包改过test.py输出格式可能是.jpg。无论哪种建议都用无损的 PNG因为超分本身就是多加细节再经过一次 JPEG 压缩会把这部分细节又抹掉一部分得不偿失。5. 避坑排查五类高频翻车现场的现象、原因和解决5.1 解压报错「文件损坏」或提示要密码先判断伪加密现象用系统自带解压器解压到一半报「文件已损坏」或者解压时弹出密码输入框但你明明记得这个包没设密码。原因多数是 zip 伪加密也就是压缩包的目录区把加密标志位置了 1但实际文件内容没加密。这可能是转存工具自动加的也可能是打包者故意设的怕压缩包被直接改扩展名打开。解决改用 7-Zip 打开如果能看到文件列表直接在 7-Zip 里右键解压它一般能自动跳过伪加密标志如果 7-Zip 也要密码尝试7z x archive.zip -p123随便给一个密码部分工具对伪加密包会直接忽略密码校验。要是还不行再用专门的 zip 密码移除工具网上搜「zip 密码移除」能找到几种但那种工具只对伪加密有效对真加密的文件无能为力。真加密的包只能找源发布者要密码没有捷径。5.2 中文路径导致 cv2 读图失败报错还不明显现象test.py跑起来不报错但输出目录里没有文件或者终端打印的图片尺寸是(0, 0)。原因ESRGAN 的data加载器用的是cv2.imreadOpenCV 的老版本在 Windows 上对中文路径支持很差路径里含有「超分」「图像」这类中文字符时imread会静默返回None代码拿None的前向传播自然就崩了。解决把整个项目路径和输入输出路径全部改成纯英文。如果你必须处理中文路径的文件先复制到一个英文临时目录再跑。更彻底的办法是写一段脚本用np.fromfile配合cv2.imdecode代替imread但这就动到了依赖库内部不建议新手操作。5.3 加载权重报 key 对不上老模型和新框架的「代沟」现象执行test.py时直接报size mismatch for feature.0.weight或者Missing key(s) in state_dict。原因最典型的有两种。一是 PyTorch 版本太新旧权重文件的序列化格式和新的torch.load不兼容。二是权重是DataParallel训练出来的state_dict 里所有 key 都带着module.前缀而你的加载代码用的是单卡模式。解决先确认 PyTorch 版本用第 3 章的 conda 环境重装到 1.8.1解决九成问题。剩下的module.前缀问题加载时加一句strictFalse或者临时写个小脚本把 key 里的module.去掉再保存。我见过有人因为这个问题反复重新下载权重其实权重本身没坏就是版本和前缀两个小点。5.4 显存溢出 OutOfMemory先缩小测试尺寸再谈优化现象跑 4K 图时推理到一半报CUDA out of memory小图完全正常。原因ESRGAN 的生成器是全卷积结构理论上可以输入任意尺寸但显存占用随输入分辨率指数增长。4K 输入在 8GB 显存的卡上跑x4超分中间特征图的显存开销远超最终输出图。解决三步走。第一步把测试图缩到 1920×1080 以内确认流程能通。第二步开启self_ensemble反而更费显存因为有 8 个中间结果要存显存紧张时一定关掉。第三步test.py里如果数据加载器写了batch_size改成 1。这些参数在options/test/test_ESRGAN.yml里都能改。如果非要处理超大图用滑动窗口切成小块分别超分再拼回去ESRGAN 官方 README 里也给了lc模式的做法但那个模式在这份转存包里不一定保留需要你自己去看data目录里有没有对应的自定义 dataset。5.5 预训练权重缺失输出全黑或直接 AssertionError现象AssertionError: Model path does not exist或者输出图片全黑。原因很多转存包为了减小体积把权重文件剔除了只留代码。输出全黑则是权重加载失败后test.py没有中断模型用随机初始化权重直接跑了前向。解决查看codes/experiments/pretrained_models/目录是不是空的。如果确实没有权重只能从官方渠道重新下载RRDB_ESRGAN_x4.pth或RRDB_PSNR_x4.pth放到对应目录。这个问题最容易让人误判成代码 bug因为报错出现在很远的地方和「缺权重」在逻辑上完全看不出关系。6. 进阶把 ESRGAN 接进视频批处理流程6.1 用 ffmpeg 抽帧到超分再合回视频单个项目跑通之后真实需求往往是处理一段视频。我一般用 ffmpeg 抽帧、ESRGAN 逐帧超分、ffmpeg 再合成。Windows 下用搜「ffmpeg master latest win64 essentials.zip」能找到的免安装版本解压后把bin目录加进系统 PATH 就能用。# 1. 抽帧按每秒 30 帧抽取输出到 frames/ 目录 ffmpeg -i input.mp4 -qscale:v 1 frames/%06d.png # 2. 批量超分Python 脚本见下方 # 3. 合成把超分后的帧按 30fps 合成新视频 ffmpeg -framerate 30 -i output_frames/%06d.png -c:v libx264 -crf 18 -pix_fmt yuv420p output.mp4抽帧时-qscale:v 1是为了保证帧质量无损后面超分才有意义。如果源视频本身就是压缩过的这步也无能为力ESRGAN 虽然是超分模型但不能凭空恢复压缩编码时丢失的纹理信息。合帧时-crf 18是 x264 的高质量档位数值越小质量越高18 对超分结果来说已经足够。YouTube、B 站这类平台还会二次压缩你本地看没问题就够了。6.2 批量超分脚本直接改 test.py 压力太大用 Python 包一层import subprocess import os input_dir frames output_dir output_frames os.makedirs(output_dir, exist_okTrue) for img_name in sorted(os.listdir(input_dir)): if not img_name.endswith(.png): continue img_path os.path.join(input_dir, img_name) out_path os.path.join(output_dir, img_name) # 单帧调用每次只处理一张显存开销最小 cmd [ python, codes/test.py, --model_path, codes/experiments/pretrained_models/RRDB_ESRGAN_x4.pth, --test_path, img_path, --output_path, output_dir, ] subprocess.run(cmd, checkTrue)这段代码逻辑很直接遍历frames目录把每张图单独喂给test.py。有人会想「能不能一次传整个目录」但那样输出文件名会冲掉之前的帧而且显存峰值会高很多。逐张调用虽然慢一点点但稳定任何时候中断了重跑已经处理完的帧不会受影响。显存越小的机器越要这样搞。处理完看一帧效果再决定要不要开self_ensemble。视频处理我从来不开因为 8 倍耗时换 0.1 dB 的指标提升在视频里肉眼几乎无法分辨。如果抽出来的帧有运动模糊那超分也不会帮你把模糊变清晰这是物理限制不是参数问题。从那以后我每次接视频增强的活都强制自己先抽一帧看源质量再做流程这一步已经帮我挡掉了至少两个「效果不好」的返工。希望帮到你。本文还有配套的精品资源点击获取
