Sony偏振传感器加持 Blackfly S工业相机突破视觉成像反光难题

Q为什么采用传感器偏振?

A:视觉系统一直都在试图克服玻璃、塑料和金属等反光表面产生的动态或多余光线、反射、朦胧和眩光影响。Teledyne FLIR的Blackfly S 机器视觉工业相机具有 Sony 的传感器偏振和 Spinnaker SDK 内置的防眩光功能，提供便于实施、轻量化且可靠的解决方案，以应对这种充满挑战的情况。

配备偏振传感器的 Blackfly S工业相机，通过同时传感整个传感器的所有偏振光的角度和强度，增加了速度，减小了体积、复杂度和耗电量。同时对曝光、增益、白平衡和颜色校正进行精确动态控制，以传感器偏振方式在单帧图像中从四个角度捕获光线，可显著降低系统复杂度和应用设计。

采用Sony偏振传感器的Blackfly S的优势01Sony的偏振传感器

Sony IMX253MZR 和 IMX50MZR 传感器基于广受欢迎的1200 万和500万像素 IMX253 和 IMX250 Pregius 全局快门CMOS传感器研发而成。每个像素都有自己的偏振滤光器 - 这些滤光器的朝向角度为 0°、45°、90° 和 135°，并以重复的双像素块排列。

这些传感器能够将由于添加像素偏振滤光器而降低的量子效率 (QE) 的影响降到最低。例如，IMX250MXR的偏振滤光器的消光比为 4:1，足够提供准确的测定偏振的数据，无需阻挡正交偏振光。这保证了即使最小量的光通过对齐的滤光器，也有足够的光到达感光二极管，以捕获有用的图像。这样即使在具有挑战性、需要增益补偿降低的 QE 的条件下，也可以捕获低噪声的影像。

02具有防眩光和消除反射功能的Spinnaker SDK

Spinnaker SDK支持API调用，以通过从每个偏振象限中选择最暗像素，从源影像中创建眩光减少的图像。它可以利用偏振测量，动态地减少来自非金属表面的反射，从而降低系统复杂度并节省应用的开发时间。请看以下示例：

L-原始偏振图像| M-偏振图像，侦测物体以红色突出显示| R-处理后的图像，启用了防眩光功能

03更高的帧率（采用无损压缩）

配备Sony偏振CMOS图像传感器的Blackfly S GigE摄像头可通过利用摄像头固件中内置的无损压缩功能，在高分辨率下实现更高的帧速率（例如，在 1200 万像素下高达14FPS），同时不损失任何图像数据。这种更高的处理速度和高分辨率对于要求苛刻的工业和研究导向型应用特别有用。

04偏振数据的解读

光偏振参数的解读和定性需要测量所有四个偏振角的数据。为了使传感器上的每一个像素都做到这一点，需要组合相邻像素数据进行插值处理。这与彩色传感器上组合相邻的红色、绿色和蓝色像素的数据得到每个像素的 RGB 值的方式类似。此过程由 Spinnaker SDK支持。

05偏振和彩色的结合

IMX250MYR传感器在偏振滤光器下为传感器增加了一个色彩滤光阵列。该传感器使用一种独特的Quad-Bayer样式，使偏振域的空间分辨率优于色彩信息的空间分辨率。

RGB 像素排列为 2x2“超像素”。每个超像素在每个方向都有一个偏振滤光器，并包含在该位置计算斯托克斯参数所需的所有信息。

突出显示 2x2“超像素”的 Spinnaker SDK GUI 截图

06全局快门功能

由于焦平面失真，卷帘快门CMOS图像传感器无法准确识别快速移动的物体。配备 Sony全新传感器偏振型传感器的Blackfly S摄像头解决此问题的方法是在每个像素内提供模拟内存，从而提供全局快门功能，以便实现较高的图像质量而不发生焦平面失真的情况。

偏振工业相机的应用

下图所示在室外照明条件下的挡风玻璃反射；有偏振和无偏振。

智能交通（ITS）

鉴于户外照明条件全天都在变化，对于 ITS 应用（如透过反光的挡风玻璃对安全带或移动设备违规行为拍照）而言，采用偏振滤光器设置很有挑战性。有些系统通过多摄像头/滤光器设置克服了这一难题，但这样做既提高了硬件和维护成本，同时又严重影响了系统的可靠性。

通过相机偏振可以每帧同时捕获四组图像；确保其中至少有一幅图像可以有效消除不必要的反射。应用程序开发人员可以在后处理过程中灵活地选择一幅或多幅偏振图像，从而节省开发、集成和维护的时间和成本。

探测和识别

使用传统的可见或热成像方法很难探测到目标，而偏振测定法就能解决了这个问题。伪装的车辆或微观细胞结构持续反射平行于表面的偏振光；这些反射在AoLP模式（线性偏振角）下可以清楚地显现，如上图所示，伪装良好的车辆在使用传感器偏振技术之前和之后的观察效果。

无人机系统（UAS）

UAS 或无人机等通常在室外不受控制的照明条件下运行。Blackfly S 提供四组偏振图像，偏振角分别为 90°、45°、135° 和 0°，以根据照明条件的变化，以及UAS 的相对运动和方向做出补偿。Blackfly S通过向应用工程师提供每帧4组偏振图像，减少了系统的复杂度、有效载荷重量和故障点，同时改善了在挑战性照明条件下的图像质量和决策时间。

优化对AUV和USV的深度学习（DL）

通过去除有害的眩光和反射来清理影像，可以简化深度学习系统的培训。特别是在自动驾驶汽车和海洋无人舰船（Unmanned Surface Vehicle，即USV）遇到的各种高反光环境中，其将发挥极大的作用。

Blackfly S 工业相机的高分辨率和低读取噪声可实现用标准显微镜设备分析宽广的视野（例如，利用生物化合物的偏振特性和光学活性可以区分健康和患病的组织）。半导体和电子产品制造、平板显示器 (FPD) 制造和检验、食品包装、化妆品、药品包装、物流、显微镜和检验等其他多种应用都需要处理表面反光区域，这些情况下摄像头偏振特别有用。