环境感知是自动驾驶领域非常重要的一项任务。特别是在夜晚或者极端天气的情况下,现有的视觉感知和激光雷达两种方式对环境的感知和识别都效果不佳。这给自动驾驶等高风险应用带来了挑战。 有些研究提出使用热像仪来弥补 LiDAR 和视觉摄像头的缺陷。但由于物体不断发出热辐射,粒子会扩散到附近的环境中,导致热成像变得模糊、无纹理,形成「鬼影(ghost)」,使这种方法难以实际应用。 现在,一种新的热成像技术可以不受雾、烟和黑暗等视觉障碍的影响,使得自动驾驶汽车在黑暗中也能准确感知环境。如下图所示,与以前的热成像(上)相比,新方法可以创建更清晰、更有质感的夜间图像(中和下)。
这种新方法是由来自普渡大学等机构的研究者提出,他们开发了一种新的系统, 称为「热辅助探测和测距系统(HADAR)」。借助该系统,我们可以在环境不佳的情况下获得精细的环境图像,细节与精度和传统相机在明亮日光下拍摄的图像相当。研究论文已登上 Nature 封面。
论文地址:https://www.nature.com/articles/s41586-023-06174-6 方法介绍 HADAR 能够穿透光学杂波来检测物体的温度、材料成分和热辐射模式,而不受雾、烟和黑暗等视觉障碍的影响。因此,无论一天中的时间或环境如何,HADAR 基于对深度和纹理的渲染都能创建极其详细、清晰的图像。
HADAR 与「鬼影」热成像。 为了训练 HADAR 系统,研究人员在夜间使用先进的热成像相机和能够显示电磁波谱中能量辐射的成像传感器,在户外捕获数据。他们还创建了对户外环境的计算机模拟,以便进行额外的 AI 训练。 普渡大学电气与计算机工程系教授、本文作者之一 Zubin Jacob 表示,「HADAR 学会了探测物体并估计与这些物体的距离,其精度是仅依靠传统夜视技术的 10 倍。而且,HADAR 在夜间的性能与传统物体检测系统在白天的性能相当。」 「声纳、雷达和激光雷达等会发出信号并返回反射,以推断物体是否存在及其与物体的距离。除了相机所拥有的视觉能力之外,它们还提供了场景的额外信息,尤其是在环境照明较差的情况下,」Jacob 表示,「然而,HADAR 有着根本的不同,它利用不可见的红外辐射来重建夜间场景,清晰度就像白天一样。」 在没有反射光的黑暗环境中, 传统摄像头无法很好地捕捉图像,雷达和激光雷达也容易受到干扰。 热成像技术通过捕获环境中物体辐射的红外光来重建场景。如下图所示,新研究提出的 HADAR 方法改变了机器感知的方式:
为了解决「鬼影」问题,该研究训练了一个神经网络,用于对热像仪发出的红外信号进行分类,将物体的特征热信号与导致「鬼影」的环境噪音分开。 该研究训练算法来识别已知材料(例如玻璃、木材或织物)的独特发射光谱。通过识别场景中的这些已知特征,算法可以表征其观察到的对象。那么剩下的就是环境信号和从这些物体反射到相机中的噪声。通过向后评估噪声信号的反射和散射方式,该算法可以填充每个对象的纹理信息,从而为图像提供更高层次的细节。
处理后的图像清晰地显示了物体及其纹理,并且可以识别物体的材质。最重要的是,HADAR 还能够提供一种关键数据 —— 环境物体的深度信息,这将有助于自动驾驶在复杂路况下进行环境感知。 下图展示了一个 HADAR 的应用实例。其中有一位真人和一个人形纸板。RGB 光学成像和稀疏 LiDAR 点云都无法区分真人和人形纸板,并且 LiDAR 还难以检测到夜间条件下的车辆。而 HADAR 检测到相应材料区域(皮肤 + 织物)中的人,将其与纸板清楚地区分开来,克服了「幻象制动」问题。 下图 6 展示了 HADAR 测距在夜间击败了最先进的热测距技术: 由于该方法能够确定场景中的物体是由什么组成的,因此与传统成像技术相结合,即使在白天,HADAR 也可以提供有关场景的独特信息。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
物联网
+关注
关注
2870文章
41666浏览量
358440
原文标题:AI提高自动驾驶夜视能力,检测黑夜、雾天场景和白天一样
文章出处:【微信号:tyutcsplab,微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
未来已来,多传感器融合感知是自动驾驶破局的关键
/L4级自动驾驶赛跑的元年。
马斯克评论FSD 12.3版本的左转弯操作就像人类司机一样。如果FSD 12.3版本成功,将基本颠覆目前市场上的智能驾驶技术路线。基于“数据/算法/算力”的无人驾
发表于 04-11 10:26
NanoEdge AI的技术原理、应用场景及优势
硬件设计则是为了确保设备在执行这些任务时能够保持低能耗,从而提高其续航能力。
2、应用场景
NanoEdge AI 可以广泛应用于各种物联网设备和传感器,如智能家居、工业
发表于 03-12 08:09
如何搞定自动驾驶3D目标检测!
可用于自动驾驶场景下基于图像的3D目标检测的数据集总结。其中一些数据集包括多个任务,这里只报告了3D检测基准(例如KITTI 3D发布了超过40K的图像,其中约15K用于3D
发表于 01-05 10:43
•152次阅读
获得TÜV莱茵自动驾驶系统China-mark认证,九识智能加快城市多场景落地
近日TÜV莱茵宣布:九识Z5智能车成为全球首个顺利通过ISO22737白天和黑夜场景测试的自动驾驶产品、并获得TÜV莱茵L4级低速自动驾驶系统性能测试China-mark认证,这意味着
LabVIEW开发自动驾驶的双目测距系统
精确的距离信息,从而提高车辆的主动安全性能。这一系统的开发和应用有望在自动驾驶领域取得更多突破性进展。
这是LabVIEW的一个功能介绍,更多的使用方法与开发案例,欢迎登录官网,了
发表于 12-19 18:02
【KV260视觉入门套件试用体验】八、VITis AI自动驾驶多任务执行MultiTask V3
是一种模型,旨在同时执行自动驾驶场景中的不同任务,同时实现优异的性能和效率。这些任务包括对象检测、分割、车道检测、可行驶区域分割和深度估算,
发表于 09-26 16:43
中国自动驾驶发展加速,已实现多场景落地应用
当前技术还无法达到全工况、全区域的自动驾驶,4级自动驾驶足以满足限定场景内实现完全替代驾驶员及安全员的需求 根据工信部发布的《汽车驾驶
自动驾驶落地关键点及趋势预测
按照业界的说法,自动驾驶分为L0~L5,以L3为界,L0~L2为辅助驾驶,L3~L5为自动驾驶。简单而言, L0~L2:驾驶员控制汽车,目前已经很成熟了,像ABS,
发表于 06-07 14:39
•1次下载
自动驾驶场景图像分割(Unet)
本文使用matlab环境,测试了自动驾驶场景的图像分割任务。分割网络使用Unet。 一千张标注图像,最终训练精度达到 90%。 数据准备 场景预标注数据下载地址: Semantic
发表于 06-07 11:58
•0次下载
自动驾驶测试场景技术发展与应用
测试方法主要分为 基于场景的测试方法 和 基于里程的测试方法 从统计学角度出发,要验证自动驾驶汽车
比人类驾驶更安全,理论上应至少进行99 000 000mile以上的公共道路测试(1mile=1609.344m)
发表于 06-06 14:53
•5次下载
数据驱动的自动驾驶
作者在与自动驾驶同行们讨论时,发现目前大家普遍都认同“普通场景下的自动驾驶已经比较完善了,目前主要的难点在于一
些cornercases”。在技术不出现质变的情况下,如何处理cornercases
发表于 06-06 14:41
•1次下载
自动驾驶算法软件架构介绍
是很重要的,自动驾驶的功能衍变
就是随着自动驾驶功能的分级推进而不断发展。而随着自动驾驶等级的不断提高,对应的功能使用场景以及软件架构也发
发表于 06-01 14:41
•1次下载
人工智能自动驾驶的意义
在自动驾驶的过程中,汽车本身需要具备感知、策划、决策、控制等一些列能力,而数据则是培养自动驾驶AI能力的重要因
素,数据标注存在的意义是让
发表于 06-01 11:43
•0次下载
评论