安森美图像传感器开发必备工具DevWareX使用教程

安森美（onsemi）推出了AR0830 RGBIR以及AR0544 RGBIR sensor，广泛应用在医疗，以及IOT智能家居应用上，那么我们怎么在安森美的DevWareX上来进行RGBIR的图像和视频的抓取呢？

安森美的AR2020是业界独有SmartROI功能的2000万像素的工业级sensor，推出以来获得了许多客户的青睐，用户如何快速的来获得所需不同ROI的sensor寄存器设定呢？别着急，让我们逐一来进行介绍。

RGB-IR 静态捕捉与视频录制RGB-IR图像显示支持

DevWareX中的RGB-IR显示功能是为了支持具体RGB-IR CFA（色彩滤光片矩阵）的芯片而实现的，RGB和红外（IR）图像会分别显示。

在DevWareX中，当使用RGB-IR CFA传感器（比如AR0544 RGB-IR,AR0830 RGB-IR）进行流式传输时，RGB和红外图像会分别在不同的标签页中显示，用户可以选择“Windows –>Tile Sub-Windows” 来并排查看这两种图像，如下图所示：

RGB和红外图像是从原始的数据中分别插值得到的，原始数据包含R,G,B,和红外像素的组合。

一般当DevWareXdetect到sensor是RGB-IR的图像传感器的时候，会自动去load RGB-IR process的参数，用户也可以手动去打开RGB-IR process的Plugin.如下路径：工具栏 “Plug-ins”  “RGB-IR Processing Settings”.

打开后具体的参数设置如下，一般情况下会按照不同的镜头滤光片信息在默认设置里面配置好，如果用户使用不同的滤光片，请联系onsemi FAE 来获得正确的RGB-IR processing参数。

注意：对于RGB-IR的传感器预览，在未启用RGB-IR插值处理的情况下，DevWareX中的红外窗口显示的是红外线性插值，是对红外像素进行“4倍乘法“后的全分辨率效果。

非原始数据格式保存的静态图片或者视频文件（如.BMP 或者AVI）以24位RGB格式保存。对于近红外图像也是一样的方式，所以红外图像的文件大小也是一样的。

静态图像捕捉

为了在传感器进行流式传输时捕捉静态图像，用户可以从DevWareX工具栏中选择“Grab”按钮。RGB图像和红外图像将以单独的文件进行捕捉，红外图像的文件名将包含”-ir”,如下图所示。

注: RAW文件格式仅保存1个文件（RGB和IR没有单独的文件），使用DevWareX打开时可以同时显示两幅图像。

视频录制

RGB-IR图像的视频录制与静态图像捕捉非常相似，用户可以选择“Record”按钮或者从“Command Start Recording” 开始录制视频。

DevWareX会将RGB和红外的视频分别保存，用户选择的视频格式可以为AVI,WMV或者MPEG4格式的文件，并在红外图像视频文件名中增加“_ir”。

保存的视频文件可以使用DevWareX打开，以便在同一视频中播放RGB和红外的图像流。如下所示：

另外，DevWareX中还提供了一个C++的示例代码 “RecordRGBIR”（C:Aptina ImagingsamplesRecordRGBIR）,该示例从RGBIR传感器创建视频文件，该视频将交替呈现RGB图像和红外图像。此代码示例 是使用Apbase和RGBIR4x4pipe库的使用例子。

RGBIR4x4pipe与Apbase集成，通过软件色彩处理流程对RGB-IR图像流进行红外提取，插值，以及常规的RGB图像处理。

AR2020 SmartROI 寄存器计算用户指南

什么是SmartROI?

从单独的一个图像传感器像素矩阵中，生成较小的图像。缩放的图像可以获得完整的视场角，而裁剪的图像则可以提供所选择ROI的完整细节。然后使用MIPI的不同虚拟通道同时传输两个图像。这样即保证了全视场角的overview,也获得原始分辨率的细节，同时大大降低了数据传输对于带宽的需求。

创建此寄存器计算器是为了计算和保存用户所需要的设置，它是寄存器向导和帧率计算器的直观替代品，用于保存AR2020寄存器设置。

以下是此独立计算器的用户界面：

右半部分包含可以更改以利用SmartROI功能的参数。左半部分显示将为当前配置生成的传感器设置信息。

左侧信息：

任何蓝色的目标都跟ROI1有关，同样，任何红色的目标都与ROI2有关。

蓝色边界框，表示缩放的图像，为ROI1

红色边界框， 表示裁剪的图像，为ROI2

在边界框下方显示边界框ROI1和ROI2的左上角和右下角的坐标。

底部的文本显示了由于SmartROI带来的带宽减少信息。

右侧可调参数：

ROI1—设置ROI1的输出分辨率，左侧的蓝色边界框对应于ROI1,显示输入中覆盖了多少阵列像素。这是一个下拉菜单，其中定义了一些预先存在的分辨率。用户也可以输入任何所需要的输出分辨率。注：输入的分辨率必须要有效，如果无效，则会设置成最接近的有效分辨率。

Center—此按钮使ROI1对于整个像素阵列居中，基本上这将始终使得ROI1居中。

Single Channel—选择绿色通道，这是唯一显示的通道。

Scaler—缩放较小分辨率的图像以覆盖整个视场。用户可以选择使用滑块或者旋钮盒进行缩放，这控制了对原始分辨率图像的缩放量，从而获得较低的分辨率图像。每个分辨率的最大缩放量参数都会自动更新。

◆旋钮盒，1.00表示覆盖整个视场，是最大值表示不进行缩放，注意：使用旋钮盒时，如果手动输入值，请按ENTER键以使其生效。

◆滑块：用于缩放获得较小分辨率图像并覆盖整个视场的滑块，在这里，最左边表示覆盖整个视场角，最右侧表示不应用缩放。

X OFFSET和Y OFFSET—ROI1的左上角X和Y的坐标，它设置输入中的偏移量。

ROI2—与ROI1类似，这设置了ROI2的输出分辨率。这是一个下拉菜单，其中定义了一些预先存在的分辨率。用户也可以输入任何所需要的输出分辨率。注：输入的分辨率必须要有效，如果无效，则会设置成最接近的有效分辨率。

中心—此按钮使得ROI2相对于ROI1居中，将使得ROI2位于ROI1的中心。

X偏移和Y偏移—ROI2的左上角X和Y坐标，它设置输入中的偏移量。

LANES：用户可以在允许的MIPI通道数量（1，2，4，8）之间进行更改。

XMCK—时钟频率，注意：执行命令” 'apbase.Camera().output_clock_freq = (clock_fq)*1000000',其中clock_fq是所需的时钟频率。

MIPI SPEED—MIPI的运行速度，单位为Mbps

FRAME RATE，sensor运行的帧率（fps）

SAVE—此按钮用于保存设置。

注意：在上述任何小部件中手动输入值以应用更改时，请按ENTER键。

具体使用该工具的步骤（用户需要使用AR2020 评估头板）：

让我们如进行如下操作：

使用SmartROI独立应用程序进行SmartROI设置，点击“Save”,它将以.ini的格式保存所配置的寄存器值。

打开DevWareX并以任何模式(preset)启动，我们以如下模式“5120x3840-15fps_Linear-10_MIPI-4/800Mbps“开始：

从工具栏打开“Presets”,

使用“Open”打开我们保存的.ini文件，我们将看到加载了2个presets, “Shared settings”和”Smart ROI”.

双击“SmartROI”,寄存器设定将会应用到芯片内去。

ROI1

ROI2

我们可以通过 “info” 信息面板来验证应用的setting的设置。

注意：如果你使用的是自动曝光，则可能需要设置“apbase.setstate("Auto Exposure Minimum FPS", 72)”以获得更高的帧率。如果需要使用更高的帧率，请将该值增加到120.