：从人眼视觉到图像传感器色彩校正)
1. 为什么一颗“好的”CMOS还得模仿人眼做图像传感器这几年我经常遇到一个特别典型的场景拿一颗QE曲线非常漂亮的CMOS去调相机白天室外效果极好一到室内暖光灯下肤色就偏得离谱。起初我以为只是白平衡算法没调好后来把传感器的光谱响应曲线和人眼的视见函数放在一张图里比对才意识到问题的根源在于CMOS这个“电子眼”和人眼之间对同一束光的感知方式有根本性的差异。这个发现让我开始系统研究一个看似基础、实则关键的课题——光学传感器到底是怎么“模拟”人眼视见函数V(λ)的如果你也做过摄像头调试、图像质量调优或者正在选型一颗图像传感器这篇文章应该能帮你省下不少弯路。1.1 一切影像标准都长在人眼上先说一个比较容易被忽略的事实整个影像行业的标准从显示器的色域、相机的曝光标定到JPEG压缩里的亮度分量全部建立在人眼感知的基础上。人眼不是一台客观的物理测量仪器它是一台带有强烈主观偏好的生物传感器。你今天看到的“正常”颜色其实是大脑对三种视锥细胞信号做了一堆复杂处理之后的结果。所以当工程师要设计一台相机、一颗CMOS传感器时第一件事不是问“硅材料对哪些波长敏感”而是要问“人眼对哪些波长敏感敏感程度如何”。因为最终照片、视频是给人看的不是给光谱仪看的。一颗传感器哪怕在紫外和近红外波段响应再强如果输出不在人眼的感知框架内那在普通消费者眼里就是“颜色不对”。这就引出了整个影像系统里最重要的一条基准曲线——V(λ)曲线。它就像一把尺子把所有参与成像的环节镜头镀膜、滤光片、传感器QE、ISP算法都校准到“人眼坐标系”。没有这把尺子各个厂家的相机颜色就会各说各话今天这家的蓝天偏青明天那家的肤色偏红行业就没法玩了。1.2 V(λ)到底在说什么V(λ)的官方名称叫“明视觉光谱光视效率函数”是国际照明委员会CIE在1924年通过的标准。它描述的是在人眼适应明亮环境时对等能量光谱中各个波长的单色光感受到的明亮程度。峰值出现在555nm附近也就是黄绿色区域这一点的效率被定义为1。换句话说同样能量的光555nm的黄绿光在人眼看来最亮而400nm的紫光和700nm的红光则暗得多。这里有一个特别有意思的成因人眼有视锥细胞和视杆细胞两大类感光细胞。视锥细胞负责明视觉和颜色感知分S、M、L三种分别对短波约420nm、中波约530nm和长波约560nm敏感。但它们并不是窄带滤波器三条响应曲线彼此重叠、拖尾很宽。V(λ)可以理解为这三条视锥细胞响应曲线的加权叠加——大脑在计算“亮度”时对长中短波信号并非一视同仁。还有一个常被忽略的姊妹曲线V(λ)对应暗视觉峰值跑到507nm左右。这就是为什么夜晚看东西时蓝色和绿色显得更亮一些红色会变得很暗——视杆细胞接管了视觉而它们几乎不响应长波红光。理解这一点对做安防监控、车载夜视的人特别重要因为夜视场景下的成像目标和人眼暗视觉曲线密切相关很多红外补光方案的波长选择就是基于这条暗视觉曲线来定的。V(λ)还有一个非常实在的用途它是辐射度量瓦特W和光度度量流明lm之间的桥梁。光通量的定义就是对辐射功率按V(λ)加权后的结果明视觉下最大光视效能是683 lm/W。这意味着一颗CMOS想做曝光标定想让F-number、快门速度和ISO成为有意义的标准值就必须把自己的光谱响应向V(λ)靠拢否则那些数字都是自说自话。2. CMOS的“视网膜”像素结构与光谱响应既然要模拟人眼第一步得先搞清楚CMOS这双“电子眼”天生是怎么看东西的。它和人眼有本质区别人眼的感光细胞是蛋白质分子CMOS的感光单元是硅基光电二极管。材料不同光谱天性就完全不同。2.1 从光电二极管到像素电路现代CMOS图像传感器的像素一般由光电二极管加4个晶体管组成行话叫4T像素包含传输管TX、复位管RST、源跟随器SF和行选管RS。光照射到光电二极管上半导体吸收光子后产生电子-空穴对电子在PN结电场作用下被收集到二极管势阱里光越强、曝光时间越长积累的电子就越多最后通过源跟随器读出电压信号。这个原理听起来简单但有一个非常关键的物理事实硅的禁带宽度约1.12eV对应大约1100nm波长。也就是说硅对所有波长小于1100nm的光子都有吸收能力只是吸收效率不同。这就是CMOS和人眼的第一个大分岔——人眼只对380nm到780nm的窄带光有反应而一颗裸的硅基光电二极管对可见光、紫外线、近红外统统都有响应甚至对近红外的响应常常比某些可见光波段还高。这种“广谱响应”在工程上是一把双刃剑。好事是灵敏度可以做得很高坏事是如果不加任何滤光措施传感器根本分不清颜色输出只能是没有色彩信息的灰度图像而且颜色会被红外光污染得一塌糊涂。所以要让CMOS“看见”颜色光有光电二极管是远远不够的。2.2 量子效率与硅的光谱天性衡量光电二极管光谱响应能力的最核心指标叫量子效率QE意思是被转换为电子的光子数占入射光子总数的比例。QE曲线就是一颗传感器在不同波长下的“视力表”。我在实测中发现硅基光电二极管的QE曲线有几个非常鲜明的特征。首先是蓝光响应差波长越短光子在硅中的穿透深度越浅400nm到450nm的蓝紫光在硅表面几百纳米内就被吸收完了。传统前照式FSI结构里光电二极管上方还压着一大堆金属布线层蓝光还没到达感光区就损失大半。这也是早期CMOS相机蓝通道噪声大、色彩偏黄的工艺原因之一。其次是近红外响应强波长越长光子在硅里穿得越深七八百纳米到一千纳米的近红外光可以穿透到硅衬底深处形成了很长的吸收路径。所以如果不加红外截止滤光片CMOS在夜间甚至能靠环境中的红外光成像。最后是红光到近红外区间通常有个响应低谷这是光电二极管厚度和抗反射镀膜共同作用的结果不同工艺差异很大。深入了解这些特征之后你会发现QE曲线不是越宽越好而应该看它在可见光区间是否平坦、是否往V(λ)的形状上靠。很多传感器厂商标称QE达到70%甚至80%你仔细看峰值位置和波段范围往往就会发现那个数字是在近红外测出来的对日常拍照染色并无直接帮助。2.3 拜耳滤色片把“宽谱”变成“三色”要让CMOS输出彩色图像最简单也最主流的方案是柯达公司发明的拜耳阵列——在像素表面铺一层2x2排列的彩色滤光片分别是红色R、绿色G和绿色G、蓝色B所以也叫RGGB排列。绿色多一倍的像素是因为人眼的V(λ)峰值就在绿色区域人眼对绿色细节最敏感传感器自然要对绿色倾斜。每个滤色片都像一扇带通滤波器红色滤光片让红光通过、拦住蓝光和绿光绿色滤光片让绿光通过蓝色滤光片让蓝光通过。这四颗像素再通过ISP里的去马赛克算法Demosaic插值就能还原出每个像素点的RGB三通道信息。但这里有个很多人没意识到的坑拜耳滤光片的光谱透过率曲线跟人眼三种视锥细胞的敏感曲线并不重合。滤光片通常是比较宽的红绿蓝带通比如红色通道可能从580nm一直透到700nm以上绿色通道从500nm到600nm蓝色通道从400nm到520nm。而视锥细胞S、M、L的响应是互相重叠的宽带曲线且波长覆盖和个人眼V(λ)的亮度加权并不相同。所以在CMOS世界里“RGB”只是工程上的近似不是人眼感知的精确映射。后面所有校正算法本质上都在弥补这种近似带来的偏差。3. 把CMOS“矫正”成人眼的三种手段知道了CMOS天生和人眼不一样就会明白市面上那些色彩还原好的相机一定在三个层面做了大量功课光学层用滤光片档掉多余光谱工艺层优化像素对可见光的响应算法层把传感器色彩空间转换到人眼感知空间。这三板斧缺一不可。3.1 光学层红外截止滤光片的功与过红外截止滤光片IRCF是CMOS模组里最常见也最关键的一片玻璃。它贴在镜头和传感器之间任务是在可见光尽可能透过的情况下把近红外光挡掉。如果没有它白天拍绿色树叶时树叶反射的强红外光和绿光一起进入传感器画面会明显发白、偏品红色彩饱和度很差。IRCF通常采用干涉镀膜结构利用多层不同折射率的介质薄膜产生干涉让红外波段被反射掉。这里有个重要的工程参数叫截止波长常见的有650nm和670nm两种规格。截止波长越短红外截止越彻底色彩越纯净但同时也可能损失一部分深红光导致画面偏冷截止波长越长低光下灵敏度越好因为多收了一些红橙光但红外泄漏的风险上升夜间遇到红外补光灯时画面会泛紫红。实际选型中还必须考虑一个隐藏变量——镀膜对入射角度的敏感性。干涉滤光片的截止波长会随着光线入射角变化而漂移角度越大截止波长越往短波方向移动。镜头的边缘光线入射角已经不小再加上CRA主光线角偏大的广角镜头会出现边缘和中心色彩不一致的“色彩阴影”问题。这也是我调模组时最头疼的问题之一解决办法要么换镀膜设计要么让IRCF靠近传感器面要么在ISP里做镜头阴影校正每种方案都有代价。3.2 工艺层滤光片材料、DTI和像素架构光学滤光片只能解决宏观光谱问题到了像素尺度工程师还有更多微观手段。拜耳滤光片的材料本身很有讲究常见的有颜料型和染料型两种。颜料型稳定性好、耐光耐热但光谱曲线不够陡峭通道之间串扰大染料型光谱曲线更尖锐、色彩更纯但工艺适配难度高、稳定性稍差。目前主流高端传感器倾向用多层镀膜式的超薄滤光片阵列来提高颜色分离度。工艺上另一个影响光谱响应的关键结构是深沟槽隔离DTI。早年间像素之间的隔离主要靠PN结长波长的红光和近红外光穿透深度大很容易横向扩散到相邻像素里造成颜色串扰——红色像素收到的光里混了隔壁绿色像素的信息。DTI是在像素之间蚀刻出深沟槽再填入氧化硅等低折射率材料像一面墙把光子和电子都锁在各自像素里。这一招对近红外串扰的抑制度特别明显也让短波长蓝光的响应提升不少。像素架构的影响就更直接了。前照式FSI结构因为金属布线在光电二极管上方蓝光损失严重背照式BSI把硅片翻转过来让光线直接照射到光电二极管背面蓝光响应大幅改善QE曲线整体也变得更平滑。再往后堆栈式结构把模拟电路和数字电路移到像素层下面进一步提高了开口率和量子效率。这些年手机夜景能力的进步一半功劳要记在BSI和DTI这些工艺革新上。3.3 算法层色彩校正矩阵与白平衡补刀即便光学和工艺已经把传感器的色彩响应调得很接近人眼硬件层面依然存在一个无法回避的问题传感器的RGB响应曲线和人眼视觉系统的LMS曲线本质上是两组不同的基向量。要在这两组基之间转换业界标准做法是用一个3x3的颜色校正矩阵CCM。CCM做的事情可以理解为坐标系变换。举个例子传感器的红色通道可能对绿色光也有响应那么信号里R通道的值就不是“纯红色”而是混入了部分绿色信息。通过CCM的交叉项把这个串扰减掉再把各通道增益调到目标色域比如sRGB或Rec.709就能让传感器的色彩映射到显示器上看起来正常。这个矩阵在产线上通常用标准色卡拍摄后经过最小二乘法标定得到。CCM设计有一个经典的取舍色度校正越彻底矩阵的负系数越大放大噪声也越严重。我调试时经常遇到的情况是实验室里把CCM调得很“准”色卡看下来ΔE很小但一拿到暗光环境阴影区域全是彩色噪声点。后来学乖了CCM不能只看饱和度准确性还要结合信噪比做平衡尤其在暗光下宁可牺牲一点点色彩纯度也不能让噪声爆炸。白平衡AWB则是算法层对人眼“色彩恒常性”的模拟。人眼看白纸无论光源是日光还是白炽灯都会觉得它是白的因为大脑会自动修正光源颜色。CMOS没有这个能力必须靠AWB算法估计光源色温再调整RGB增益。AWB一错后面所有色彩校正全部白搭。市面上主流做法是灰度世界法加多项式回归外加AI色温估计但面对复杂光源环境依然经常翻车这也是相机色彩调试里永无止境的课题。4. 实测对比CMOS离V(λ)还有多远理论讲了这么多最后还是得用数据说话。我这边搭过一套比较简单的光谱响应测试装置过程不复杂但很能说明问题下面把方法和一些实测结论分享出来。4.1 光谱响应测试怎么做测试的目标是测出传感器在不同波长单色光下的响应度然后归一化得到相对QE曲线。核心设备是单色仪加一个稳定光源氙灯或卤素灯通过单色仪分光后输出近似单色光从400nm到1000nm之间以5nm或10nm步进扫描。光路上加积分球保证出光均匀再用标定过的功率计或光电二极管记录每个波长下的光功率。传感器端的操作同样讲究把镜头取下放上均匀照明的光窗保证传感器受光均匀设置一个固定的曝光时间和增益避免自动曝光干扰数据逐波长记录输出灰度值同时拍暗场扣除底噪。最后用公式“响应度输出信号÷入射光功率”算出每个波长的响应再除以峰值归一化就得到相对QE曲线。整个过程听起来简单但要做到数据可靠稳光源、严控温度和足够长的预热点灯时间都很关键否则光谱漂移会直接写进数据里。4.2 用数据说话一次D65下的模拟推算测完QE曲线后可以做一个非常直观的推算假设场景光源是标准D65平均日光景物是等反射率白色那么传感器每个像素接收到的信号等于D65光谱功率分布、物体反射率、镜头透过率、滤光片透过率和QE曲线五者的乘积在全波段的积分。如果滤光片和QE都完美匹配人眼V(λ)那么三个通道的比例应该遵循D65下的人眼亮度基准。但实际上我实测过一颗典型的消费级BSI CMOSR:G:B通道的裸响应比例大约在1:1.28:0.82蓝通道明显偏弱。施加白平衡增益后蓝通道需要额外放大20%以上这直接推高了蓝通道噪声也让暗部彩色噪点变得明显。这类数据让我对“传感器离V(λ)还有多远”有了一个更清晰的量化感觉。产业界的技术路线也高度一致先用IRCF把近红外一刀切掉再用滤光片曲线设计把红绿蓝往人眼色域拉近最后靠CCM和AWB算法补最后一公里。硬件和算法每一天都在相互妥协不存在一步到位的完美方案。4.3 判读QE曲线的五个要点拿到一颗传感器的QE曲线图很多人只盯着峰值高不高这是不够的。我习惯按五个维度逐一过一遍第一看覆盖范围可见光区间之外有没有多余的长尾巴比如近红外抬升过高的说明IRCF可能压不住夜间红外污染风险大。第二看蓝光段斜率450nm附近的响应不能掉得太快否则蓝通道弱、暗部噪声大。第三看曲线平坦度QE在可见光段的起伏越小白平衡增益越均衡彩色信噪比越好。第四看红绿蓝三通道峰值比例偏离V(λ)太多意味着后续CCM需要更大的交叉校正量噪声放大风险随之增加。第五看不同光照角度下的稳定性这部分通常看原厂提供的入射角响应数据角响应差的传感器在广角镜头上容易出色彩阴影。这些要点看似简单却是“会看曲线”和“看懂曲线”的分水岭。我以前拿到Datasheet只关注峰值QE和像素尺寸吃过几次亏后才明白光谱匹配才是色彩质量的底层逻辑。5. 常见问题与排查实录把理论落到工程现场最后分享一些我在实际项目中踩过的坑和排查思路。如果你正在调试摄像头模组这些内容应该能帮你快速定位问题方向。5.1 偏色类问题白天拍绿色植物偏品红是最典型的光谱响应异常现象。我记得第一次遇到这个情况时第一反应是AWB出了问题反复调了一下午灰度世界参数效果还是不行。后来静下心来看传感器在红外波段的QE和IRCF的实测曲线才发现那批IRCF的红外截止波长比规格书标称的值偏长了大约15nm导致800nm附近的红外光大量漏进了可见光通道。换上截止波长达标的IRCF品红偏色立刻消失。这件事之后我养成了一个习惯偏色问题先查硬件光谱再动算法顺序不能反。室内暖光灯下肤色发橙、发红也是高发问题。这种场景通常不是硬件缺陷而是AWB对低色温光源的估计不够准。我的排查方法是先固定色温做白平衡配合色卡拍灰度阶然后分别看R:G:B增益数值。如果Gain R已经顶到2倍以上说明硬件蓝通道或者绿通道增益偏低传感器光谱匹配本来就有问题光靠软件是救不回来的。5.2 灵敏度和噪声类问题弱光环境下彩色噪点爆炸是另一类高频投诉。前面提到过蓝通道QE偏低导致蓝通道需要的白平衡增益大从而放大了噪声。除了等下一代传感器改善工艺现阶段的工程对策是改主动降噪和去马赛克算法的强度以及降低CCM负系数的绝对值以换取噪声性能。这里我特别提醒一点不要让CCM背太多锅很多案例里问题根源在IRCF和滤光片的光谱匹配算法再怎么折腾也是徒劳。还有一类问题是近红外灵敏度过高。做安防产品时为了兼顾夜视效果工程师常常有意放宽IRCF截止波长让一些近红外光进入传感器。这本身是合理的但白天就需要算法对红外串扰做补偿。我曾经做过一个双通道方案在传感器旁边加一个红外检测通道实时估计红外分量再在RGB里扣除效果比单纯调CCM好得多。这类硬件加软件的联合补偿才是解决红外污染的正道。5.3 串扰与环境光影响颜色串扰在显微镜图像和工业相机领域特别突出。高倍率镜头下光照角度陡光子在像素间的横向漂移会被放大表现为暗场边缘出现彩色条纹和鬼影。排查时可以拍纯色均匀面逐通道看邻近像素是否被“染上”了其他颜色的信号。解决办法里用DTI工艺的新型传感器效果最明显若传感器已经定型就只能靠算法做局部像素校正费时费力且效果有限。最后提醒一个环境光坑实验室光谱测试时如果房间里有节能灯或LED灯这些光源的光谱有很多尖峰会直接污染测量数据。我习惯在暗室做光谱测试至少也要用遮光帘挡住杂散光并且对整条光路做黑箱处理。这个细节看起来不起眼但能省掉很多排查错误结论的时间。实测心得收尾整套V(λ)和CMOS光谱匹配的课题研究下来我个人的体会是做图像系统的人不能只看传感器像素和镜头解像力更要建立“全链路光谱观”。人眼是一个窄带、非线性、带有强烈先验的感知器官而CMOS是一个宽带、线性、毫无先验的物理设备两者的差异是本质性的。我们做的所有工作——红外截止滤光片、彩色滤光片阵列、背照式工艺、深沟槽隔离、色彩校正矩阵、自动白平衡——本质上都是在用工程手段弥合这条鸿沟。前阵子做一个相机项目我花了整整一个下午把传感器QE曲线和V(λ)曲线重叠打印出来贴在工位上反复看。蓝通道天生偏弱、近红外高出一截、红色段下降太慢每一个拐点都对应着后期调参时要格外留意的区间。后来这个项目的色彩风格调得特别顺几个同事都问我是不是有什么独门秘籍。其实哪有什么秘籍不过是把V(λ)这条老曲线真正放进了心里的坐标系。它虽然诞生于1924年但今天每一颗摄像头、每一张照片背后都有它默默做标尺的身影。搞懂它你就握住了色彩工程的一把钥匙。
