图像传感器上的像素可以变得多小？

图像传感器上的像素可以变得多小？

我们可能不知道答案，只是它们可能会变得非常非常小。半导体加工能够产生小至 5 纳米的特征。虽然这种极小的尺寸可能不适用于图像传感器上的像素，但它表明我们还没有接近尺寸限制。

在机器视觉的早期，像素为 17µm。稍后，随着 2/3 英寸格式的 VGA 分辨率传感器的出现，它们变成了 13µm。从那时起，更小的传感器和更高的分辨率将像素尺寸向下推到了 10µm、7µm、3.45µ、2.2µm，甚至是今天的 0.8µm。多家图像传感器公司制定了 0.4µm 像素尺寸的发展路线。

图1

图 2- 硅晶片

是什么激发了较小的像素？ 主要是成本，这与图像传感器的尺寸直接相关。 一个加工过的 300 毫米晶圆成本在 4,000 到 14,000 美元之间，主要取决于“节点”或特征的大小。节点范围从 45nm 到 5nm，较小的节点工艺成本更高。它还取决于制造晶圆所需的工艺步骤数量。此外，晶圆以至少 20 个晶圆的批次进行处理。 为了获得经济性，有必要增加每个晶片的图像传感器数量。最简单的方法是使图像传感器更小。较小的图像传感器与更高图像分辨率（像素的数量或行和列）相冲突。公司如何创建更小的图像传感器并保持或提高图像分辨率？只能通过使像素更小。

小像素的缺点是什么？

第一个缺点是噪声。图像传感中一种主要的噪声形式是光子散粒噪声——一种量子物理学的效应。光子散粒噪声与光生电子数的平方根成反比。光生电子越多，光子散粒噪声占信号的百分比就越低。 更大的像素具有更大的区域来捕获光子和更大的容量来存储称为全阱容量的光生电子。因为较小的像素具有相应的较小的全阱容量，所以它们的光子散粒噪声将成比例地放大。 小像素的另一个缺点是具有与像素尺寸相匹配的光学元件。 有一个衍射公式，镜头分辨率的基本限制：R = 1.22 λ f# 其中 λ 是光的波长，f# 是镜头的 f 值。 对于 λ=555nm，人眼最敏感的绿光，f-number = 1，非常宽的镜头，分辨率极限为 0.68µm。在您得出光学可以解决与小像素相称的细节的结论之前，请意识到这是一个没有考虑镜头像差的理论限制。此外，具有低 f 值的镜头更难设计且制造成本更高。 设计具有大光圈的衍射受限透镜是可能的。它是一种非常复杂的镜头，具有非常严格的制造公差，并且不具备很多灵活性，例如不能够使我们聚焦到不同的工作距离。因此，它将成为一个非常昂贵的定制镜头。

图 3- 镜头 MTF

图 4- 图像传感器的 MTF

小像素的一些优点是什么？

当我们更深入地研究分辨率时，这一点会变得很明显。当我们研究如何将小像素分组使用时，可能会出现另一种情况。

镜头的调制传递函数 (MTF)。这显示了镜头可以产生的对比度，它作为空间频率的细节的函数。空间频率就是有一对线，一条白色和一条黑色，宽度相等。现在这些线对中有多少可以并排放置在一毫米内。随着线条变得更窄，更多线对将放置在一毫米内。线条的宽度代表镜头可以光学解析的细节。 请注意，随着空间频率的增加，镜头无法产生任何对比度。它无法解析这些细节。对于视觉系统工作，20% 的对比度通常用作镜头分辨率或空间频率的目标限制。 许多人没有意识到图像传感器也有 MTF。它与镜头不同。对比度从 100% 开始，逐渐下降到零。然后奇怪的事情发生了；它继续下降到负值。在这个负值区域发生的情况是信息受到混叠的影响，由空间频率、明暗线间距和像素间距影响。对比度达到零的点是奈奎斯特极限，线对的大小是像素大小的两倍。

图 5- 图像传感器和高分辨率镜头的 MTF

图 6- 镜头和图像传感器的匹配 MTF 曲线

人们通常会选择光学分辨率低于奈奎斯特极限的镜头。这意味着图像传感器获取到了劣质的光信息，最后导致图像边缘轮廓损坏。精确测量系统的准确性可能会受到这种损坏的限制。 一种可能的解决方案是选择光学分辨率极限正好在奈奎斯特极限附近的镜头。这可以防止图像数据损坏。组合成像 MTF 只是两条 MTF 曲线相乘。在镜头提供 20% 的对比度和图像传感器提供 20% 的对比度时，图像中的对比度仅为 4%，对于许多应用来说可能太低了。

图 7- Lens Limited MTF.

图 8- 图像传感器上的拜耳滤波器模式

当图像传感器的奈奎斯特极限低于镜头的光学分辨率时，混叠不会破坏图像，并且组合对比度可以高于匹配的传感器和镜头的对比度。但是，我们不应该忘记，高像素是以图像噪声更大以及要传输和处理更多的图像数据为代价的。 使用小像素组而不是单个像素可以提高成像能力。例如，非常常见的拜耳滤光片图案，其中每个像素都有一个彩色滤光片，而用于三色成像的其他两种颜色是通过插值最近邻得到的，这会产生诸如紫边之类的伪影。

图 9- 显示紫色边缘的放大图

图 10- 4x4 Bayer 滤波器

假设，代替相邻像素上的拜耳模式，一个四乘四的小相邻像素阵列具有滤色器，并且图像传感器可以对来自具有相同滤色器的像素的信号进行合并，即组合。这实际上将消除紫边，并通过分箱减少光子散粒噪声的影响。 三个滤色器（红色、绿色和蓝色）的目的是再现人类可见的大部分色域，这些色域在视网膜上具有三种不同的颜色传感器（视锥细胞）。对于不同的模型，看看螳螂虾。它的眼睛有十二个不同的视锥细胞，使其能够看到超出可见光谱的紫外线和红外线。螳螂虾不仅可以看到人类看不到的波长，它还具有比人类更好分颜色的潜力。螳螂虾也能感知光的偏振。

图 11- 螳螂虾照片

图 12- 多光谱和偏振滤光片图案来源

回到四乘四的小像素组，可以使用一系列滤色器来扩展色域和辨别力，还可以感知光的偏振。这种安排将在 2D 图像传感器中引入执行多光谱或高光谱成像的能力。

写在最后

总之，像素将在消费设备的成本压力的推动下缩小，其中工程师减轻其成本的方式是将成本在大量生产中摊销。对于大多数技术成像，像素尺寸可能会保持在 3µm 左右，这样噪声更易于管理，镜头设计和制造更实用。然而，以独特方式使用的小像素组也可能带来新的成像机会。

审核编辑 ：李倩