1. 先聊一聊为什么人脸修复到了GPEN这里才算“能用”做图像修复、老照片还原或者视频增强的朋友应该都经历过这种折磨拿一张百年前斑驳的人像照或一张监控里的低分辨率人脸跑传统超分算法出来的图是“清晰了”但五官完全是磨皮过度的假塑料感跑GAN类的重建方法细节倒是出来了可人脸经常直接给你换了一张脸身份都对不上。GPEN就是在这个背景下让我比较服气的一篇工作。它的全称是GAN Prior Embedded Network for Blind Face Restoration in the Wild2021年发表在CVPR上作者包括陶大程参与的团队。核心思路一句话就能讲明白把预训练好的StyleGAN v2的生成先验嵌入到一个U-Net结构的编解码网络里让网络既保留输入图像的结构信息又利用GAN先验补充真实细腻的皮肤纹理和五官细节。这篇论文我前后读了两遍第一遍走马观花第二遍对着源码一行一行抠才真正把作者的设计意图理清楚。这篇文章就当作一份带注释的阅读笔记把我踩过的坑、疑惑过的设计、实验里学到的细节都写出来。适合正在做人脸修复、老照片增强的同学也适合准备入门GAN先验方向的人至少能省下你啃原论文和源码的不少时间。2. 盲人脸修复到底难在哪为什么说这是“盲”2.1 退化模型与真实世界的差距盲人脸修复里的“盲”指的是输入端退化未知。经典假设是高分辨率清晰图像经过模糊、下采样、加噪之后变成低质量图公式长这样y (x ⊗ k) ↓s n其中x是清晰原图k是模糊核↓s是s倍下采样n是噪声。这个模型本身没问题但真实场景远比它复杂脸上的高频细节、皮肤毛孔、发丝在退化过程中基本被抹平了监控相机拍出来的人脸往往还带运动模糊、偏色、压缩伪影各种问题叠加在一起。退化的多样性导致很难用一个固定的逆过程去恢复。2.2 三条技术路线的“此消彼长”在GPEN之前主流方法大概分三类我第一次接触时完全被绕晕后来用一句话分别概括基于先验重建的方法代表是PULSE和mGANprior。这类方法假设人脸在StyleGAN的潜空间里有一个对应的潜码通过优化潜码让生成图的下采样结果逼近输入图。优点是真质感好缺点是优化不稳定容易找到一个“五官长得不一样但下采样后很像”的潜码身份漂移问题非常严重。基于编解码器的方法代表是HiFaceGAN。这类方法直接训练一个CNN网络从退化图回归清晰图结构信息保持得不错但高频细节往往不足输出偏平滑缺少真实的皮肤纹理。基于GAN判别器的端到端方法比如GFP-GAN和PSFRGAN。它们在编解码器基础上加判别器用对抗损失逼迫输出更真实效果已经不错但对高频噪声的抑制、对真实退化图像的泛化仍有明显短板。2.3 GPEN的设计取舍所有路线都“吃一半”GPEN的高明之处在于它没有站队而是把三类方法的优点各取一部分。网络主体仍是编解码器负责内容重建解码器阶段引入预训练StyleGAN的合成权重提供高保真的人脸先验训练时再用多尺度判别器加对抗损失做兜底保证纹理真实感。后面这几节就逐个拆解这些设计背后的逻辑。3. 核心机制拆解GAN先验到底是怎么“嵌”进去的3.1 为什么要用StyleGAN的先验而不是自己训一个生成器人脸图像的特殊性在于它高度结构化双眼、鼻、嘴、颧骨都有固定位置和形态。一张退化严重的人脸信息已经损失太多不可能完全靠网络“算”出来必须借助人脸数据集里统计出的分布知识来“猜”。StyleGAN v2在FFHQ上训练完成后其生成网络内部每一层特征图都编码了丰富的五官结构信息和皮肤纹理统计规律。直接拿高斯噪声输入StyleGAN去生成目标人脸是不可行的因为退化图里其实保留了大量身份信息关键是找到一个方式让网络“看”到退化图的同时又能利用StyleGAN内部的先验知识。GPEN的做法是编码器提取退化图的特征然后把特征注入StyleGAN的合成层的输入位置相当于把StyleGAN从“从噪声生成人脸”改造成“从退化特征生成清晰人脸”。3.2 主干网络与GAN先验的衔接方式具体到网络结构上GPEN主体是一个U-Net编码器部分从退化图提取多尺度特征解码器部分使用了预训练StyleGAN v2的合成网络参数。这个“嵌入”不是简单地把两个网络拼在一起而是做了残差式的融合。在StyleGAN的每个合成块中来自编码器的粗糙特征会先经过一个卷积调制再与StyleGAN自身的调制特征相加然后继续向上采样。这样做有个最直接的好处编码器提供的结构信息和StyleGAN提供的纹理先验互不干扰网络不需要从零开始学习如何生成人脸只需要学会“该往StyleGAN的特征里补什么”。我用个生活化的类比这就像你让一位素描老师编码器先画出人脸的轮廓和明暗关系再让一位油画大师StyleGAN先验在素描底稿上补上细腻的皮肤质感和光影。如果只让油画大师凭空画他根本不知道画的是谁如果只让素描老师画那永远只是素描没有油画的真实质感。3.3 为什么只用了StyleGAN的深层编码器没沾先验我第一次看结构图时产生过一个疑问编码器为什么不用预训练权重作者的解释是编码器的任务是提取退化图的语义特征这是一个通用的表示学习问题用普通CNN训练反而更灵活而解码器面对的任务是“无中生有”地补充细节必须依赖先验知识。这个设计也和训练数据有关。训练时用高清人像图人工合成退化图网络需要学会从退化图反推清晰图。编码器如果冻结了StyleGAN的权重反而会限制它对不同退化类型的适应能力毕竟StyleGAN的中间特征是为“生成”服务的不是为“识别退化”服务的。3.4 噪声调制模块对抗频率域的脏东西论文里另一个容易被忽略的模块是噪声调制模块Noise Modulation Module。代码端到端训练时我发现如果直接把噪声图和其他输入一起送入网络生成结果在高频区域容易出现彩色条纹或水波纹一样的伪影这在真实老照片里尤其明显。作者的处理方式是把输入图像的高频噪声单独提取出来拆成不同频率的噪声分量然后预测一组通道级的缩放因子和偏移量用它们对解码器特征做调制。这相当于模型自主学习哪些频率的噪声是真实图像该有的哪些是污染然后有选择地抑制。写代码时这个模块的实现很简单本质上就是几层卷积加一个sigmoid输出作为门控。但它解决的问题非常实际没有这个分支时生成结果在皮肤区域经常出现不自然的斑块加了之后干净很多。做工程的朋友可以重点关注这块它和很多传统去噪算法的思路其实是相通的只是做成了可学习的形式。4. 设计细节里的门道判别器、损失函数和训练策略4.1 多尺度判别器为什么要“多尺度”GPEN的判别器采用了多尺度结构也就是在多个分辨率下分别判断图像真假。这样做的目的有二一是大尺度判别器关注整体结构和语义合理性防止人脸畸形二是小尺度判别器关注局部纹理真假提升皮肤毛孔、睫毛等细节的真实度。只用一个高分辨率判别器在训练早期很容易崩塌因为生成器发现靠“锐化边缘”就能骗过判别器舍不得花精力学真实的纹理分布。多尺度判别器相当于拓宽了监督信号的来源哪个尺度出问题都能及时反馈给生成器。4.2 非负L1损失、感知损失和对抗损失的分工GPEN的损失函数由四部分组成非负L1损失保证重建图像与GT的结构一致。之所以强调“非负”是担心生成器在L1梯度过小时产生偏向。读完源码我才发现实际实现中非负损失就是一个ReLU之后的标准L1设计目的更多是为了稳定训练。感知损失用VGG网络的特征空间衡量图像相似度。L1是在像素级约束感知损失是在语义特征级约束两者结合能保证输出既像素接近又语义合理。对抗损失逼迫输出图像分布接近真实人脸分布负责最终纹理质量。特征匹配损失把判别器的中间层特征也拉近算是对抗损失的一个辅助训练稳定性会好很多。我个人的理解是这四个损失各管一段非负L1管“像”感知损失管“内容对”对抗损失管“真”特征匹配管“稳”。缺一个最终效果都会肉眼可见地打折扣。4.3 从合成训练到真实场景微调GPEN在FFHQ上构造退化对完成预训练后还用真实退化图像做了一步微调。这步操作看似简单其实决定了模型在真实老照片上的泛化能力。合成退化与真实退化之间始终有domain gap训练时再怎么加噪声、加模糊也不如直接让模型见几张真实场景下的低质量人脸。微调时因为真实图没有高清GT作者用了半监督的思路只计算感知损失和对抗损失丢弃需要GT的L1类损失。这个思路在很多图像恢复论文里都能看到工程上可以在小规模真实数据上低成本提升模型表现值得借鉴。5. 实验结果怎么看消融实验的价值在哪里5.1 从定量指标到主观效果论文在CelebA-HQ和真实老照片上都做了评测定量指标包括FID、L1、PSNR等。但人脸修复这个任务非常特殊定量指标高的方案主观上不一定好看。我复现时对比过几个模型有些模型PSNR很高但人脸是“磨皮脸”毛孔全没了这种结果用户一眼就能看出假。GPEN的强项恰恰是主观效果好皮肤纹理真实发丝边缘自然在真实老照片场景下尤明显。5.2 各模块的消融结果说明了什么论文里的消融实验核心结论有三条去掉GAN先验只保留codec输出锐利但缺少真实纹理说明StyleGAN先验承担了“细节补全”的职责。去掉噪声调制模块颜色偏移和高频伪影明显加重说明该分支有独立且关键的作用。去掉多尺度判别器人脸五官比例偶发变形说明多尺度判别器是语义正确性的重要保障。这三条结论对做工程同样有指导意义。如果你发现自己魔改后的模型效果不对优先检查这三个模块是否被意外破坏。5.3 与其他方法的对比GPEN的优势和不足对比PULSE这类先验重建方法GPEN的身份保持能力明显更强推理时间也短得多对比HiFaceGAN这类纯codec方法GPEN的细节纹理丰富度高出不少对比GFP-GAN两者各有千秋GPEN在颜色自然度上略好GFP-GAN在严重退化的极端条件下鲁棒性更优。GPEN的短板也很明显。对于极度模糊、五官信息完全丢失的输入它仍然会“幻觉”出一张合理的脸可能与真实长相相差甚远这也是所有基于先验的方法共同的问题。第二个短板是模型的感知领域有限如果人脸姿态过大、遮挡严重生成效果会明显下降。6. 从论文到源码复现与工程落地全记录6.1 官方仓库结构与核心文件GPEN的官方代码开源在GitHub上整体结构比较清爽核心文件集中在几个目录里face_enhance_model.py推理入口封装了人脸检测、对齐、增强、复原的完整流程gpmen.py模型定义核心网络结构training/训练脚本、数据集构建、损失函数weights/模型权重存放目录推荐先从face_enhance_model.py读起它能帮你建立端到端的印象输入一张图经历人脸检测、裁剪对齐、模型增强、反变换回去最后输出结果。理解了这个流程再回到gpmen.py看细节会顺畅很多。6.2 环境搭建与依赖复现GPEN对硬件有一定要求官方推荐的依赖是PyTorch 1.7及以上CUDA 10.2以上。我在一台RTX 3090上跑512×512的推理单张耗时大约0.3秒训练的话建议至少24GB显存起步不然batch size拉不起来训练效果会受影响。环境搭建命令可以直接从官方README里取基本没有额外花样。但有几个依赖版本要注意facexlib用于人脸检测gfpgan是后续有的库不建议混用basicsr工具包如果版本不一致容易在degradations模块上踩坑。Windows用户建议优先用WSL2跑纯Windows环境编译某些CUDA算子容易出问题。6.3 推理实操三步完成老照片人脸增强推理分为三步下载预训练权重放到weights/目录下。准备一张含人脸的图片建议人脸大于64×64像素过小的话检测和对齐都会不稳定。运行命令python face_enhance_model.py --in_path input.jpg --out_path output.jpg默认参数已经能出不错的效果。想调节强度可以关注--upscale_factor和--out_size参数。我自己的经验是对于老照片修复上采样倍数设2到3比较稳妥设太高会出现过度锐化的假纹理。6.4 训练自己的模型数据准备与参数选择如果你想在自己的数据上微调训练脚本在training/目录下。数据准备阶段用FFHQ或者自己的高清人脸数据集先对每张图做不同退化处理生成训练对。退化参数要注意多样性模糊核大小随机范围要大噪声强度也要从轻到重覆盖否则模型只会“背诵”特定退化类型换一种退化就失效。训练时的关键参数有这么几个--batch_size显存允许的范围内尽量大至少4--lr初始学习率0.002左右配合余弦退火比较好--num_gpus多卡训练时注意同步批次归一化层的统计量--finetune加载官方预训练权重做微调收敛速度会快很多6.5 从单张图到视频工程化落地的加速技巧GPEN放上倍到视频人脸增强时如果逐帧跑完整检测和对齐流程一台3090大概只能跑到每秒2到3张完全不够用。我实际工程中做了三个优化视频场景下相邻帧人脸位置变化很小可以用光流或目标跟踪算法预测下一帧的人脸框跳过重复检测。模型输出的512×512结果在小尺寸视频上够用没必要每次输出1024×1024可以减少解码器计算量。用TensorRT或ONNX对模型做量化推理损失一点精度换2到3倍速度对实时场景是值得的。7. 复现与使用过程中踩过的坑7.1 环境依赖facexlib和basicsr版本冲突这是复现时最容易遇到的问题。facexlib的face_restore_helper.py和GPEN的代码之间、basicsr的版本之间都可能因为API改动出现不兼容。我把官方repo的requirements.txt里的版本号和实际安装的版本核对了一遍才发现问题。建议直接用官方仓库中锁定的版本不要随意升级。如果非要用新版basicsr记得检查degradations模块的导入路径是否发生了变化。7.2 显存占用批量推理时的OOM问题输入多张图片时如果直接把batch size设得很大很容易触发显存不足。我的经验是把图片先缩放到合适尺寸再统一batch。另一个做法是开启PyTorch的torch.cuda.amp.autocast做混合精度推理显存可以省将近一半速度还有小幅提升。7.3 输出效果不理想先检查对齐质量很多用户反馈GPEN输出的脸歪了或者左右眼不对称我排查了一圈发现并不是模型问题而是人脸对齐环节出了问题。GPUEN依赖检测模型输出的人脸关键点做相似变换对齐当原始图像人脸姿态偏大、侧脸明显时对齐质量会明显下降后续增强自然跟着歪。这种情况下可以先手动裁剪出正脸区域或者用更强的人脸对齐模型替换内置方案问题基本能解决。7.4 真实老照片上的颜色偏差处理真实老照片往往自带偏色GPEN直接输出后颜色可能和原图观感不一致。我的处理办法是推理后做一个颜色校正把原图的颜色统计量迁移到输出图上具体实现可以用简单的直方图匹配或者用Reinhard颜色迁移算法效果都不错。这样既保留了模型的纹理增强能力又避免了颜色被“洗掉”的问题。8. 读完论文之后的一些个人体会GPEN这篇论文最值得学习的不是某个具体模块而是它“混合多种思路”的解决问题方式。人脸修复这个任务没有一个单一工具能搞定全部结构信息需要编解码器来保持纹理信息需要GAN先验来补充噪声抑制需要专门的频率域处理最终效果需要多尺度判别器来把关——每一步都不算惊艳组合起来却产生了质变。我在实际项目中把GPEN和传统图像融合算法做了一个简单组合先用GPEN做人脸区域增强再用泊松融合把增强结果无缝贴回原图背景部分只做轻量级超分整体效果比直接对全图跑GPEN自然很多。这种“分而治之”的思路在工程落地时往往比追求单模型的极限效果更可靠。如果你想深入了解人脸修复的前沿方向GPEN是个非常好的分水岭。读懂它之后再回头去看GFP-GAN、CodeFormer这些后续工作会发现它们解决的问题、采用的思路都和GPEN一脉相承。论文本身代码量不大但内部包含的设计哲学值得学习很久。最后分享一个读论文的小技巧像GPEN这类有官方开源代码的工作第一遍看完论文一定要把论文里的公式和代码里的变量逐一对应起来读。有些作者在论文里写得比较含糊的地方代码里往往有最诚实的答案。我在读GPEN的噪声调制模块时论文只给了一张示意图对着代码看了半小时才彻底理解它在哪个位置、以什么方式嵌入了主干网络。这种“论文代码”对照着读的方法虽然慢但信息密度极高读完后你就真正掌握了这个模型而不是只“看过”一篇论文。
