虹科Xylon记录仪-色彩决定一切

背景

车载摄像头的发展

视频摄像头已经逐渐从最初的汽车后视镜应用发展到智能传感器，可以检测道路上的物体，并通过自动刹车和车道保持等驾驶辅助来提高安全性。最近的ADAS/AD的发展已经使摄像头成为感知汽车周围环境不可或缺的工具。虽然激光雷达和雷达在传感器融合中能够比较可靠地检测道路障碍物，在全天候提供最大程度的昼夜信息，但实际上只有视频摄像机能够最准确地识别和分类车辆周围的物体。

传统的计算机视觉系统依赖灰度视频来识别形状，并在一定程度上依赖基本色度，例如交通标志识别，而基于机器学习和深度神经网络(DNNs)的现代视觉系统往往需要色彩来理解世界。颜色决定了一切，使神经网络更好地模仿人类大脑。

DNNs必须经过训练，才能在特定的ADAS/AD应用中以最大的可靠性协同工作。训练过程使用带有精确标注的数据集在算力强大的服务器上进行。

经过训练的参数在ECU控制器中的GPU、FPGA或视觉处理器上进行DNNs实现。全彩色视频需要从指定摄像机位置和来相同视频传感器和镜头的获取，以确保DNNs尽可能可靠。然而，收集这些视频的过程要困难得多。

车载摄像头不会产生颜色，它们生成的颜色信息编码为众多拜耳编码变体之一。此外，常用的高动态范围(HDR)相机以不同的曝光方式生成两到三帧，组合在一个帧中，可以显示被阳光直射的物体和被放置在极端阴影中的物体。

ISP管道问题 ✦

生成高对比度的彩色视频需要通过一个称为HDR图像信号处理(ISP)的专用硬件进行处理。HDR ISP管道通常由同一Soc芯片中的DNNs实现，这使得在DNNs输入处处理的彩色视频很难用于芯片外的标注和机器学习。这一问题可以通过对处理后的彩色视频进行数据记录来解决。由于ISP管道对数据执行大量像素操作，这种处理需要硬件升级到标准数据记录仪级别。

Xylon的logiRECORDER汽车HIL视频记录器是一种完美的解决方案。它以可编程FPGA为基础，实现了芯片级的HDR ISP集成。这确保了经过处理的视频的完整性，并通过其他车辆传感器的数据并行记录来提供完整的传感器融合支持。

Xylon在设计可编程芯片方面有超过25年的经验，它的logicBRICKS库包括用于可编程FPGA和SoC芯片中的ISP处理的IP核。它使Xylon能够直接在数据记录仪的视频I/O模块中实现HDR ISP，动态地处理原始视频并记录彩色视频。

Xylon ISP处理的视频与ECU soc ISP处理的视频之间的差异是非常小的。Xylon与客户合作，针对特定的摄像机进行ISP调优，并通过DNNs训练实现最佳的视频质量。

除了数据记录，logiRECORDER独特的HIL回放功能可以将记录数据直接注入连接的ECU。可编程的HDR ISP块集成在logiRECORDER的视频输出，相当于真实的相机仿真。而不是简单地回放记录的数据，logiRECORDER的HDR ISP块修改视频以响应ECU的命令。这种闭环HIL与ECU运行的固件大大提高了最终产品的质量保证。

所提出的解决方案已经与几个Xylon客户建立了原型，计划于2022年第三季度推出可量产的解决方案。