车用图像传感器参数小议——动态范围

         图像传感器的动态范围是汽车成像中的一个关键指标。什么是动态范围？维基百科定义，动态范围（Dynamic Range）是可变化信号（例如声音或光）最大值和最小值的比值。

         可变化的信号S有多种，对一帧图像而言，S的最小值为1，最大值受限于数据带宽，即数据能够存储的最大值。一张8位的灰度图，最大值255，此时理论上的动态范围就是48dB，10位图像动态范围可到60dB，20位图像动态范围120dB。

         实际上，动态范围是一个通用的概念，不同的信号或者变量S都可以定义自己的动态范围，图像传感器有动态范围，显示器，投影机，打印机等等都有自己的动态范围。我们甚至可以定义一个人的动态范围，如果这个人条件艰苦时能吃苦，条件优渥时会享受，既能将就也会讲究，这就是个高动态范围的狠人。

         图像的动态范围和场景的动态范围，大多数情况是不一致的。

         场景的信号S不是图像的灰度值，它是场景发射光线的亮度。可以理解为S最大值是场景中最亮部分的亮度，S的最小值是场景中最黑部分的亮度。它与图像动态范围相关但不相等。同时图像的后处理通常会把线性数据压缩为非线性输出，这也会放大图像数值和场景动态范围的差异。

Figure 1宽动态典型场景

         如果把场景的亮度作为横坐标，图像传感器输出的数据作为纵坐标，我们就得到图2所示的sensor输出和场景的动态范围映射关系。图像传感器把一定亮度范围的场景采集并映射为自己的输出，如图中红框所示。

Figure 2场景到sensor的动态范围映射

         图像传感器实际动态范围通常比场景的动态范围低，传感器的能力只能采集红框对应横坐标内场景的亮度范围。红框的位置需要动态调整移动，以适应场景亮度的变化，这是成像算法中自动曝光(auto exposure)模块的任务。

         对汽车高动态范围的场景，会有同一场景中极亮和极暗部分同时出现的情况，例如夜间街道，既有车大灯也有街道的暗角，此时移动红框已经无法同时看清楚两个部分，必须把红框做大，这就是汽车上用到的高动态范围图像传感器。

         从原理上讲，红框尺寸受限于传感器的像素势阱容量，受限于尺寸，很难简单做大，车用图像传感器的高动态范围技术是行业面临的共同挑战。过去二十年来，车载图像传感器的高动态范围大致有如下四大技术流派。

         第一个是动态改变像素的灵敏度扩充动态范围。如图3所示，图像传感器对场景亮度的映射变成非线性，随着环境亮度增加，像素灵敏度逐渐下降，灵敏度从亮度的线性函数变成分段函数。如下图所示，电荷积累分成三段，亮度低时灵敏度高，对应黑色电荷，然后亮度中等灵敏度也中等，对应蓝色电荷，最后亮度最高灵敏度最低。从坐标图中可以看到，此时像素的势阱容量即纵坐标不增加，但映射的场景亮度范围即横坐标可以明显加大，实现了增大动态范围的目标。

         安森美(onsemi)的车用图像传感器产品线早期推出过30万像素的可变灵敏度sensor，就是基于此类技术，这个技术的最大挑战在于它改变了像素的灵敏度特性，让线性特性的灵敏度变成非线性，而这个折线的形状对电压、温度和曝光时长敏感，一致性差，动态范围扩展能力有限，只能勉强用于大尺寸像素黑白图像的传感器。目前这类技术已经逐渐被市场淘汰。

Figure 3非线性化扩充动态范围

         第二个高动态范围技术是时分多次曝光。这个是目前主流车用图像传感器所采用的技术。做法就是图像传感器改变曝光时间连续多次曝光得到多帧图像，然后从中选择合适像素合并成一帧图像。如图4示意，传感器改变曝光时间，相当于自带自动曝光功能，对场景不同亮度分别采样，得到多个红框，然后把动态范围拼接起来。这个技术的优点在于：像素势阱容量不用额外做大，只需把数据带宽做大；每个曝光的时长控制可以很精确，最终拟合的图像亮度线性特性好；动态范围扩展容易，仅用时分技术就能做到140dB的动态范围。

         时分多次曝光技术有一个难以克服的问题，由于sensor的连续曝光时间上是依次滞后的，当场景中有快速移动物体或光照剧烈变化例如LED频闪情况下，多帧图像拟合后会出现运动物体伪影和色彩噪声。ADAS算法需要针对性地训练这类噪声。

Figure 4多帧合并扩充动态范围

   
      第三个高动态范围技术是空分多次曝光，业内也有称之为大小像素技术。本质来说与时分多次曝光类似，由多帧融合，区别在于图4中的多个红框来源于空间尺寸上不同的两种像素，两种像素的图像拟合成为一张图像。由于两种像素在曝光时间上是对齐的，可以避免了运动重影的问题，同时改善LED灯频闪现象。

         不过有得就有失：空分曝光，意味着像素数量翻倍， 例如1百万像素传感器实际上是1百万大像素加1百万小像素，增加了功耗和设计复杂度；小像素挤占了大像素的面积，降低了大像素的低照性能；大小像素的灵敏度差异大，线性特性差，小像素在光学上无法和大像素兼容，需要大量的光学标定工作以补偿小像素的问题。这些都是用户在产品应用开发中需要解决的工程挑战，此外，大小像素图像传感器受小像素尺寸限制，随着技术演进会逐渐变成瓶颈，所以安森美在2009年就发明并申请了大小像素技术的专利，但并没有推出相应的传感器产品。

         第四个高动态范围技术就是直接扩展像素的势阱容量。传统图像传感器像素的感光二极管在感光的同时兼具电荷存储的功能，因此像素的电荷势阱容量受限于感光二极管尺寸。随着像素尺寸越来越小，像素的容量也逐渐变小。安森美的超级曝光像素技术突破了这一限制，并在业内率先量产了基于这一技术的产品。技术路径就是为感光二极管外挂了存储电容，当容量饱和时，多余的电荷会被转移到电容中存储起来。这里的电容不参与光学感光，但扩充了像素的势阱容量。如图5示意，上面的小桶相当于感光二极管，下面的大桶相当于存储电容。大桶不直接接水，只存储小桶溢出的水。

Figure 5感知和存储分离

         超级曝光像素把电荷存储功能从感光二极管剥离出来，跳出了固有限制，实现了像素动态范围和感光二极管的解耦。这一技术具有良好的线性特性，保留了单一像素架构，无需复杂的光学标定，并解决了时分导致的伪影和LED频闪的问题。与感光二极管的解耦，看似简单的一步，却打开了未来更小像素，更大动态范围产品的设计想象空间。

         为了支持足够高的动态范围，业内产品通常会复用上述三种技术。一张高动态范围的图像，可能是时分多次曝光帧，大小像素帧，和超级曝光帧的复合拟合结果。这有点像汽车动力中的插混方案，动力可能来自自排发动机，涡轮增压，以及电机直驱的并联。这里多帧拟合的线性特性很像汽车驾驶动力变化的线性特性，保证输出的平顺与线性是高动态范围图像的巨大挑战。一般来说，技术种类越少，线性特性越好。

         小结一下，CMOS图像传感器的动态范围是汽车应用中重要的参数指标，它是目前业内共同面临的技术挑战，这里介绍了几种传统动态范围扩展技术的特点，以及新出现的超级曝光像素技术，它的出现打破了既有技术的窠臼，我们预期会在市面上看到更多相关的优秀产品涌现。