全方位了解图像传感器的基础知识

典型图像传感器的核心是CCD单元（charge-coupled device，电荷耦合器件）或标准CMOS单元（complementary meta-oxide semiconductor，互补金属氧化物半导体）。CCD和CMOS传感器具有类似的特性，它们被广泛应用于商业摄像机上。不过，现代多数传感器均使用CMOS单元，这主要是出于制造方面的考虑。传感器和光学器件常常整合在一起用于制造晶片级摄像机，这种摄像机被用在类似于生物学或显微镜学等领域，如图1所示。

图1：整合了光学器件和颜色过滤器的图像传感器的常用排列

图像传感器是为满足不同应用的特殊目标而设计的，它提供了不同级别的灵敏度和质量。想要熟悉各种传感器，可查阅其厂商信息。例如，为了在硅基模和动态响应（用于实现光强度和颜色检测）之间有一个最好的折中，对一个特定的半导体制造过程，需优化每个光电二极管传感器单位的大小和组成成分。

对计算机视觉而言，采样理论的效果具有重要意义，如目标场景的像素范围就会用到Nyquist频率。传感器分辨率和光学器件能一起为每个像素提供足够的分辨率，以便对感兴趣特征进行成像，因此有这样的结论：兴趣特征的采样（或成像）频率应该是重要像素（对感兴趣的特征而言）中最小像素大小的两倍。当然，对成像精度而言，两倍的过采样仅仅是一个最低目标，在实际应用中，并不容易决定单像素宽度的特征。

对于给定的应用，要取得最好的结果，需校准摄像机系统，以便在不同光照和距离条件下确定像素位深度（bit depth）的传感器噪声以及动态范围。为了能处理传感器对任何颜色通道所产生的噪声和非线性响应，并且检测和校正像素坏点、处理几何失真的建模，需发展合适的传感器处理方法。如果使用测试模式来设计一个简单标定方法，这种方法在灰度、颜色、特征像素大小等方面具有由细到粗的渐变，就会看到结果。

1、传感器材料

硅制图像传感器应用最广，当然也会使用其他材料，比如在工业和军事应用中会用镓（Ga）来覆盖比硅更长的红外波长。不同的摄像机，其图像传感器的分辨率会有所不同。从单像素光电晶体管摄像机（它通过一维直线扫描阵列用于工业应用），到普通摄像机上的二维长方形阵列（所有到球形整列的路径均用于高分辨率成像），都有可能用到。（本章最后会介绍传感器配置和摄像机配置）。

普通成像传感器采用CCD、CMOS、BSI和Foveon方法进行制造。硅制图像传感器具有一个非线性的光谱响应曲线，这会很好地感知光谱的近红外部分，但对蓝色、紫色和近紫外部分就感知得不好（如图2所示）。

图2：几种硅光电二极管的典型光谱响应。可以注意到，光电二极管在900纳米附近的近红外范围内 具有高的敏感度，而在横跨400纳米～700纳米的可见光范围内具有非线性的敏感度。 由于标准的硅响应的缘故，从摄像机中去掉IR滤波器会增加近红外的灵敏度。

注意，当读入原始数据，并将该数据离散化成数字像素时，会导致硅光谱响应。传感器制造商在这个区域做了设计补偿，然而，当根据应用标定摄像机系统并设计传感器处理方法时，应该考虑传感器的颜色响应。

2、传感器光电二极管元件

图像传感器的关键在于光电二极管的大小或元件的大小。使用小光电二极管的传感器元件所捕获的光子数量没有使用大的光电二极管多。如果元件尺寸小于可捕获的可见光波长（如长度为400纳米的蓝光），那么为了校正图像颜色，在传感器设计中必须克服其他问题。传感器厂商花费大量精力来设计优化元件大小，以确保所有的颜色能同等成像（如图3所示）。在极端的情况下，由于缺乏累积的光子和传感器读出噪声，小的传感器可能对噪声更加敏感。如果二极发光管传感器元件太大，那么硅材料的颗粒大小和费用会增加，这没有任何优势可言。一般商业传感器设备具有的传感器元件大小至少为1平方微米，每个生产厂商会不同，但为了满足某些特殊的需求会有一些折中。

图3：基本颜色的波长分配。注意，基本颜色区域相互重叠， 对所有的颜色而言，绿色是一个很好的单色替代品

3、传感器配置：马赛克、Faveon和BSI

图4显示了多光谱传感器设计的不同片内配置，包括马赛克和堆叠方法。在马赛克方法中，颜色过滤器被装在每个元件的马赛克模式上。Faveon传感器堆叠方法依赖于颜色波长深度渗透到半导体材料的物理成分，其中每种颜色对硅材料进行不同程度的渗透，从而对各自的颜色进行成像。整个元件大小可适用于所有颜色，所以不需要为每种颜色分别配置元件。

图4：（左图）堆叠RGB元件的Foveon方法：在每个元件位置都有RGB颜色， 并在不同的深度吸收不同的波长；（右图）标准的马赛克元件：在每个光电二极管上面放置一个RGB滤波器，每个滤波器只允许特定的波长穿过每个光电二极管

反向照明（back-side illuminated，BSI）传感器结构具有更大的元件区域，并且每个元件要聚集更多的光子，因而在晶粒上重新布置了传感器接线。

传感器元件的布置也影响到颜色响应。例如，图5显示了基本颜色（R、G、B）传感器以及白色传感器的不同排列，其中白色传感器（W）有一个非常清晰或非彩色的颜色滤波器。传感器的排列考虑到了一定范围的像素处理，如在传感器对一个像素信息的处理过程中，会组合在邻近元件的不同配置中所选取的像素，这些像素信息会优化颜色响应或空间颜色分辨率。实际上，某些应用仅仅使用原始的传感器数据并执行普通的处理过程来增强分辨率或者构造其他颜色混合物。

图5：元件颜色的几个不同马赛克配置，包括白色、基本RGB颜色和次要CYM元件。 每种配置为传感器处理过程优化颜色或空间分辨率提供了不同的方法（图像来自于《Building Intelligent Systems》一书，并得到Intel出版社的使用许可）。

整个传感器的大小也决定了镜头的大小。一般来说，镜头越大通过的光越多，因此，对摄影应用而言，较大的传感器能更好地适用于数字摄像机。另外，元件在颗粒上排列的纵横比（aspect ratio）决定了像素的几何形状，如，4：3和3:2的纵横比分别用于数字摄像机和35毫米的胶片。传感器配置的细节值得读者去理解，这样才能够设计出最好的传感器处理过程和图像预处理程序。