一、光学镜头成像效果异常的主要表现
1.紫边(Purple Fringe)
对于紫边的成因,通常认为是镜头色差(镜头对不同光谱光线的折射程度不同,导致不同光谱的光线不能成像到一点上)所导致。如下图所示,成像系统一般将绿色通道准确对焦,然而由于镜头色差,蓝色和红色通道不能完全准确对焦,从而使物体边缘出现紫红色的色边。
2.紫晕(Purple Flare)
关于紫晕的成因比较确定,包括镜头/模组内部的光线反射、杂波散射、光圈边缘的散射、镜头的roughness(粗糙度)以及模组内的灰尘都是产生紫晕的因素。各种因素导致高角度入射光不仅激发了正确位置的光电二极管,也激发了其周围的光电二极管,最终形成彩色光晕,如上图所示。
这也就是所谓的光学串扰(Optical Crosstalk)。为什么大多数Chromatic Flare都呈现为紫色呢?这是因为对RGGB CFA而言,G通道的color filter比R,B通道的color filter透明度更高,因此高角入射光线可以相对更多穿过G filter被R,B对应像素吸收。这样就会导致这些位置的R/G,B/G ratio比那些正常位置的数值更高,经过白平衡,CCM之后在最终图像上呈现出紫色/粉色的光晕。
3.镜头阴影 ( Lens Shading)
镜头阴影(Lens Shading)主要是由光学原理、镜头结构以及工艺误差等因素引起的,表现为图像中心到边缘亮度不均(Luma Shading)或色彩偏色(Color Shading),这两种表现一样都是属于镜头阴影,可以进行标定处理。
4.色彩偏色(Color Shading)
①由于镜头对不同光谱光线的折射程度不同,导致入射光线中不同波长的光线落在Sensor的不同位置,从而引起色彩偏色。
②由IR-Cut filter引入,成角度拍摄照片时,红外光在IR膜上会有较大反射,经过多次反射后,被Sensor接收从而改变图像R通道的值,引起图像偏色问题。
主流的滤光片包括两种类型:
白玻璃:成本低,在普通光学玻璃上镀膜以反射红外光,这样的话可见光可以透过白玻璃,而红外光将被反射。但是白玻璃的这种反射性能对光线的入射角度很敏感,当大角度光线照射到滤光片时,红外线的反射路径发生改变,就有可能无法得到有效的滤除而进入传感器,从而导致R通道值异常,产生四角偏红的问题。
蓝玻璃:通过蓝玻璃基底吸收+镀膜反射双重机制来减少红外光反射,能消除伪色,性能相比白玻璃要好一些。
③由Sensor上微透镜的CRA与镜头的CRA不匹配导致。镜头的CRA大于Sensor的CRA,光线折射到临近的像素,导致像素之间出现串扰,出现图像的偏色,在图像四周表现得更明显,因为CRA从图像中心到四周是呈曲线状上升、逐渐变大的。
④在校正镜头阴影时,由于校正参数计算不准确导致。
5.亮度阴影/边缘暗角(Luma Shading)
导致镜头出现Luma Shading问题的主要原因包含以下几种:
①自然光学衰减
镜头本质上就是一个凸透镜,其中心的聚光能力要优于边缘部分,因此会导致光线强度从中心向四周衰减。如下图所示,对比其平行光线D1和角度光线D2:
对于一个没有畸变的镜头,图像四周的光照度衰减会遵循一个cos4θ(余弦四次方定律)的衰减规律。
对于平行光线(D1)而言,从点P1发出的光线因为与光轴平行,所以其入射角θ=0°,此时其光强遵循公式 I*cos4θ=I,也就是无衰减的状态。
而对于角度光线(D2)而言,从点P2发出的光线与光轴成θ角,那么其光强就会衰减为I*cos4θ。例如,当θ=30°时,该角度发射的光强就会仅剩约56%(cos(4*30°)≈0.56),因此就会导致边缘亮度显著低于中心。
②镜头机械结构遮挡
镜头本身以及镜头座的解析结构元器件有可能会遮挡斜射入镜头的部分光线,导致这些光线无法照射到图像的边缘区域,因此造成图像中心区域射入光线更多而偏亮,边缘区域光线更少而偏暗。
③镜头与图像传感器之间的CRA匹配问题
镜头与图像传感器之间的CRA不匹配会导致的Luma Shading方面的问题,当镜头CRA< Sensor CRA时,镜头透入的光线无法覆盖像素边缘,造成感光面积损失(Luma Shading),具体的图像表现为四周暗角。
总的来讲,Luma Shading的本质就是:大角度入射光产生的综合衰减(自然衰减+机械遮挡+CRA光学失配)导致了镜头和传感器边缘的亮度下降。因此,通过控制光线入射角θ、优化镜头的镜筒结构及提升CRA匹配精度,才能从根源上彻底改善亮度的均匀性。
二、Lens Shading问题的调试和优化思路
以上总结了导致Luma Shading和Color Shading问题的成因,那么接下来就是这些问题在实际中应如何优化和解决。
1.硬件设计与光学优化
确保Sensor和镜头之间的CRA匹配。通过调整镜头出射光角度与传感器微透镜的CRA匹配(偏差需控制在±3°以内),可减少光线入射角度过大导致的边缘颜色偏移。
IR-Cut滤光片采用蓝玻璃(吸收式红外截止滤光片)替代普通的白玻璃(反射式IRCF),减少大角度红外光反射对R通道的干扰,可将边缘泛红现象降低30%。
2.ISP Lens Shading校正
如上所述,部分Lens Shading的原因与光学系统的本身缺陷有关,而且在产品应用中的光学元件的选型往往受到各种因素的限制,无法完全避免。因此在ISP中专门有一个LSC(Lens Shading Correction)模块用于处理Lens Shading的问题。
在ISP收到Image Sensor输出的RAW Data后,一般首先会进行黑电平校正(BLC,Black Level Correction),然后就会进行LSC处理。
LSC的处理流程大致分为标定和校正两个阶段。
LSC的标定属于ISP Tuning的一个重要环节,主要对各个图像通道的LSC增益补偿表的参数进行标定。标定流程如下:
首先使用相机对均匀度>95%的白色光源进行拍摄,获取其RAW格式图像:
①按照RAW图像的Bayer排列分解为四个通道:R,Gr,Gb,B。如果一张RAW的尺寸是3648*2736,那么每个通道的尺寸就是1824*1368;
②把各个通道的RAW图像从横向和纵向分割为多个网格,然后分通道计算各个网格的平均亮度。
③以每个通道图像的中心网格的亮度为基准(增益=1),对其边缘区域的网格按衰减比例计算补偿增益。大致的公式就是:增益=中心亮度/当前网格亮度。
④按照以上公式分通道计算各个通道各个网格的独立增益表(如17×13网格),存储于ISP的LUT(查找表)中,后续就对RAW图像基于这个表进行LSC增益补偿。
在完成ISP Tuning中的LSC标定后,后续对Sensor输出的RAW图像进行LSC校正时,就会对RAW图像的R、Gr、Gb、B各个通道分别应用其对应的增益表进行增益补偿,避免共用参数导致的色彩串扰。在要求较高的情况下,往往还会对不同色温(如3000K、5000K、7500K)情况下进行多次标定,生成多组不同色温下的增益表,在后续进行LSC校正时根据当前色温动态切换以适配环境光源,取得更好的LSC效果。