IMX490：高对比度场景的单次曝光 HDR 和闪烁缓解介绍

虽然传感器通过增加更多传感器功能和更高的低光灵敏度不断改进，但应用工程师仍然面临着增加价值的压力，因为他们努力突破相机和传感器所能提供的极限。这通常会导致工程师添加在主机 PC 上进行的成像后处理。一种流行的后处理功能为高对比度场景（例如户外汽车应用中的场景）实现了高动态范围 (HDR) 处理管道。随着索尼 IMX490 CMOS 传感器的发布，索尼已将 HDR 处理转移到传感器上

作者：wolfq121218

虽然传感器通过增加更多传感器功能和更高的低光灵敏度不断改进，但应用工程师仍然面临着增加价值的压力，因为他们努力突破相机和传感器所能提供的极限。这通常会导致工程师添加在主机 PC 上进行的成像后处理。一种流行的后处理功能为高对比度场景（例如户外汽车应用中的场景）实现了高动态范围 (HDR) 处理管道。随着索尼 IMX490 CMOS 传感器的发布，索尼已将 HDR 处理转移到传感器上，使视觉工程师有机会简化他们的 HDR 应用程序，同时还可以利用 LUCID 的相机内置 24 位图像处理管道。

高动态范围：传统方式

HDR 成像通常需要处理多张图像，每张图像具有不同的曝光时间设置，然后将其组合成一张图像。不同的曝光设置允许在高光和阴影中收集更多可用的图像数据。例如，较长的曝光时间将在阴影中捕获更多数据，但代价是高光过曝。较短的曝光时间则相反，在高光中捕获更多可用数据，而曝光时间太短则无法在阴影中捕获任何可用数据。最终处理后的图像将从每次曝光中获取最佳数据并将其组合成 HDR 图像。

附注

传统的 HDR 成像可以使用相机的序列器功能完成。序列器允许对相机进行编程，使其连续拍摄一系列图像。每幅图像可以具有不同的设置，包括不同的分辨率、增益、曝光度等。然后可以在主机 PC 上处理这些图像。

传统 HDR：不适合运动

虽然传统 HDR 成像非常适合几乎没有运动的静态场景，但汽车应用等高速场景可能会产生运动伪影。当场景中的物体在不同曝光之间改变位置时，就会产生运动伪影。发生这种情况的原因是每次曝光都是在不同的时间进行的，一次接一次，曝光之间的这种延迟会导致 HDR 后期处理产生的最终图像中的物体看起来变形或扭曲在一起。

最终 HDR 结果、运动伪影：

生成的 HDR 图像存在严重的运动伪影。这在汽车和建筑物的扭曲中表现得很明显。

IMX490：同时曝光

与传统的 HDR 处理不同，索尼的 IMX490 CMOS 传感器在曝光之间没有任何延迟。事实上，所有曝光都设置为相同的长度并同时进行。这要归功于传感器的子像素技术（也称为分割像素技术），其中传感器包含大像素和小像素，每个像素大小具有不同的光敏度。此外，每个子像素都以高低转换增益读出，为每个像素提供四个 12 位通道。然后在传感器上处理这四个通道并将其组合成单个线性 24 位 HDR 值。（注意：虽然可以更改大像素和小像素之间每个像素的曝光长度，但建议保持不变）。

IMX490：消除闪烁

IMX490 上的子像素同时曝光的另一个好处是可以减轻 LED 闪烁。许多传统的 HDR 相机必须使用非常短的曝光时间来测量明亮场景中的低灵敏度数据，以避免光电二极管过度饱和。不幸的是，这些短曝光时间可能短到足以捕捉到 LED 闪烁 - LED 电源中的快速电压变化导致 LED 快速交替开启和关闭，从而导致视频显示 LED 闪烁。但由于子像素技术，IMX490 不需要使用这些非常短的曝光时间。对明亮区域更敏感的特定子像素可以设置为与其他像素相同的较长曝光时间，从而使传感器能够平均化闪烁。

工作原理：像素结构

传感器的设计包括提高整体灵敏度并降低图像噪声的技术。IMX490 是背照式 （BSI） 传感器，其布线层位于光电二极管下方。这样可以让更多光线到达光电二极管而不会受到电路布线的阻碍，从而提高灵敏度。每个子像素还具有不同大小的微透镜，以更好地将光线聚焦到各自的光电二极管中。实施了遮光罩以及深沟槽，以帮助将每个像素与两个子像素之间的光学串扰和电荷泄漏隔离开来。这种设计可实现高量子效率、超过 120dB 的动态范围，组合子像素饱和容量为 120000 e-。

交互式图表 – 请将鼠标悬停在图表中的点上以显示 QE %

TRI054S-CC（彩色，索尼 IMX490 CMOS）

彩色 EMVA 1288 结果
动态范围
信噪比（最大）
饱和容量
绝对灵敏度阈值（在 527.5nm 处测量）
时间暗噪声
获得

EMVA 1288 是机器视觉传感器和相机规格测量和表示的标准。

如前所述，IMX490 使用每个像素位置的两个子像素来实现高动态范围，这两个子像素的灵敏度和饱和度各不相同。每个子像素都以高低转换增益读出，为每个像素提供四个 12 位通道。这四个通道组合成单个线性 24 位 HDR 值。EMVA1288 标准不直接适用于 24 位组合数据，但适用于各个通道。结果是在各个通道上测量的，并在适当的时候进行缩放，以反映通道如何组合成 24 位 HDR 图像。

像素电位横截面和驱动序列

IMX490 的独特设计融合了子像素 1 （SP1） 和子像素 2 （SP2） 的多个浮动扩散。当曝光同时发生时，来自 SP1 和 SP2 的信号将串行输出。下面的动画显示了像素电位的各个阶段以及像素驱动序列。

阶段：

8） SP1 和 SP2 中的所有电荷都被重置。1**） **曝光：两个子像素（SP1 和 SP2）同时曝光。

SP1 读出： 2） 对SP1 低增益和高增益复位电平进行采样。3 ） 对 SP1 高转换增益信号进行采样。4**）** 对 SP1 低转换增益信号进行采样。** 由于对 SP1 复位电平和信号电平进行采样，因此该子像素可以执行相关双采样 （CDS） 以降低噪声。*

SP2 读出： 5） SP2 的高转换增益被采样。6 ） SP2 的低转换增益被采样。7**）** SP2 的复位电平被采样。** 由于复位采样是在 SP2 的信号之后进行的，因此 SP2 无法执行 CDS。相反，SP2 使用增量复位采样来抑制噪声。8***）** SP1 和 SP2 中的所有电荷都被复位。

下一步：在 ArenaView 中使用 LUCID 的 TRI054S IMX490

对于那些寻找如何在 LUCID 的 ArenaView 中使用 TRI054S-CC 的说明的人，

本知识库文章介绍了 TRI054S-CC 上可用的各种功能和选项，包括 HDR 调谐、图像增强、数字钳位等。此外，本文还包括有关更改位深度显示、调整 LUT 和切换色调映射伽玛的说明。

结论

将 Sony 的 IMX490 与 LUCID 的 Triton IP67 相机配对，可提供 120 dB 高动态范围成像，非常适合包含场景中非常暗和非常亮区域的具有挑战性的应用。IMX490 通过其具有双通道输出的子像素技术实现这一点，提供 4 次同时曝光，从而产生清晰、无失真且无运动伪影的图像。此外，由于同时曝光，与需要较短曝光时间的传统 HDR 相机相比，该相机能够通过允许更长的曝光时间来减少 LED 闪烁。LUCID 的 Triton 相机具有 24 位 ISP，允许用户访问和微调 IMX490 传感器提供的所有功能。由于相机的 IP67 Factory Tough™ 设计，Triton 5.4MP 相机非常适合户外应用，例如高级驾驶辅助系统 （ADAS） 或自动驾驶，以及工业应用，例如实时焊接检查。
*附件:IMX490-ABLG-W_technical_datasheet_E_Rev.0.1.0.pdf

审核编辑 黄宇