一款开源机器学习热数据集汇集了10,000多个白天和夜间场景的注释热图像

传感器系统开发商FLIR公司近日发布了自动驾驶开源热传感器数据集，该数据集汇集了10,000多个白天和夜间场景的注释热图像，热成像传感器可以检测行人，动物和其他车辆，最大距离可达到传统前灯照明的四倍。该传感器的应用将有助于驾驶员或未来的自动驾驶车辆在黑暗，太阳眩光，雾，烟和雾霾等具有挑战性的环境中看得更远。

近日，美国俄勒冈州的传感器系统开发商 FLIR Systems Inc. 宣布推出一款开源机器学习热数据集，专为高级驾驶辅助系统（ADAS）和自动驾驶汽车研究人员，开发人员和汽车制造商而设计，该数据集汇集了10,000多个白天和夜间场景的注释热图像。

什么是热成像传感器？

智车科技曾在《红外热像仪结合机器学习助力自动驾驶安全，或是未来发展方向之一》一文中提到，热像仪又称红外热像仪，是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。通俗地讲热像仪就是将物体发出的不可见红外能量转变为可见的热图像。热图像的上面的不同颜色代表被测物体的不同温度。红外热像仪是可通过光电转换、电信号处理等手段，将目标物体的温度分布图像转换成视频图像的设备。

热像仪可通过识别行人、动物以及周围环境发出的热量，形成物体轮廓图像，进而帮助司机发现行驶过程中的危险。

目前自动驾驶感知的局限性

目前自动驾驶感知一般都用激光雷达(LiDAR)、雷达和摄像头等，这些传感器的感知距离有限，而且对行人、动物等识别容易出现差错，需要人类驾驶员随时准备接管控制车辆，要实现3-5级的自动驾驶，车辆需要更大数量和更强功能的传感器。

雷达传感器可以检测远处的物体，但却无法识别该物体。摄像头可以很有效地确定物体是什么，但仅能在较近的范围内起作用，而且在夜间等感光能力差的时候，容易出现误识别（比如Uber事件）。雷达传感器和摄像头融合方案，可以为自动驾驶车辆提供更完整的检测和覆盖范围，但仍需有强大的冗余备份。

目前的传感技术都存在感知问题。CMOS摄像头、雷达和LiDAR无法在动态照明或恶劣天气条件下发挥作用。（来源：面包板社区）

在ADAS环境中，感应热红外辐射或热量的能力为现有传感器技术提供了互补和独特的优势。当前的自动驾驶和自动驾驶解决方案使用各种传感器来收集汽车周围环境的信息，但它们都有缺点，在与热成像结合使用时解决。作为目前汽车行业唯一的汽车级无源红外传感器，FLIR传感器应用于众多车辆，包括通用汽车，标致，梅赛德斯，奥迪和宝马制造的车辆，以及售后系统。可以检测行人，动物和其他车辆，热传感器的最大距离可达到传统前灯照明的四倍。热成像有助于驾驶员和未来的自动驾驶车辆在黑暗，太阳眩光，雾，烟和雾霾等具有挑战性的环境中看得更远。

FIR技术方案

据面包板社区介绍，FIR热摄像头使用远红外光波来检测物体自然发出的热量（热辐射）的差异，并将该数据转换成图像，可以扫描可见光以上的红外光谱，因此可以检测到一般摄像头/雷达/LiDAR无法察觉的物体。带有FIR的VGA热传感器对于高对比度成像具有0.05摄氏度的灵敏度，可以检测到200米距离远的行人。FIR传感器将能够以30或60fps的速度跟踪行人，并检测前方道路。

FIR传感器产生新的信息，可提高分割能力，并提供对车辆周围环境的准确分析

除了捕获物体或材料的温度之外，FIR摄像头还可以捕获物体的发射率——它是如何有效地散发热量的。由于每个物体具有不同的发射率，因此FIR摄像头可以感测其路径中的任何物体。有了这些信息，摄像头就可以创建一个可以独立并安全运行的道路视觉图画。

在低光灵敏度下几种最先进的摄像头对比，采用FIR方案的Viper可以检测到其他传感技术无法检测到的物体

凭借这项先进的技术，FIR摄像头可以克服复杂的天气和照明条件带来的障碍，而这是目前其他传感技术无法克服的。

开源热数据集

这是首款包含汽车，其他车辆，人员，自行车和狗的注释的热数据集，它能够使开发人员使用FLIR汽车开发套件（ADKTM）开始测试并优化卷积神经网络（CNN）算法。当它与普通可见光摄像机，激光雷达和雷达相结合时，热传感器数据与机器学习相结合，有助于创建更全面和冗余的系统，用于识别和分类道路物体，尤其是行人和其他生物。

“这个免费的开源数据集，它为汽车界提供了一个重要的机会，使ADAS和自动驾驶汽车在各种条件下更具鲁棒性。”FLIR业务总裁说。“此外，最近引人注目的自动驾驶相关事故，显示出对经济实惠的智能热传感器的明确需求。凭借数百万自动驾驶汽车的潜力，FLIR热传感器成本将大幅降低，这将鼓励大规模采用并最终实现更安全的自动驾驶汽车。”

该数据集包括日间和夜间场景，包含汽车和其他车辆以及人员，自行车和狗的注释。图像可用于训练卷积神经网络（CNN）来识别这些对象。FLIR表示，将热图像与激光雷达，雷达和可见光相机相结合可以创建更强大的算法，能够更轻松地识别物体 ——特别是人和动物。

车道线清晰，在夜间具有挑战性的照明条件下，ADK与可见相机的对比

最新的FLIR ADK与NVIDIA DRIVE汽车平台的开发者生态系统兼容。ADK采用高分辨率FLIR Boson，配备Intel®Movidius™Myriad™2视觉处理单元，是FLIR唯一的热像仪模块，采用先进的低功耗多核视觉处理器，结构紧凑，坚固耐用汽车使用所需的包装。

随着世界向自动驾驶汽车迈进，这种热传感器的应用可能将有助于汽车行业将自动驾驶汽车所需的可靠性和冗余性。