张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

基于双目视觉的自动驾驶中障碍物识别问题

智车科技 2018-11-29 16:27 次阅读

基于现实世界是一个三维空间,所以对计算机视觉的研究也应该是在三维空间中进行的。 在自动驾驶过程中的首要任务就是道路识别 [1] ,主要是图像特征法和模型匹配法来进行识别。行驶过程中需要进行障碍物检测 [2] 和路标路牌识别等,此时车辆上的信息采集便可以运用单目视觉或者多目视觉。

相比之下,运用多目视觉更具优势,获取的图像信息可构建成三维空间,物体运动以及遮挡等问题对其影响较小。目前有很多智能小车的研究都是基于室内环境的研究,本文基于室外环境,采用双目摄像机模型 [3] ,考虑光照、路面材质等问题,采用分水岭算法 [4] 对智能车的区域进行定位,以及在行驶区域中采用多阈值 canny 算法来进行障碍物的检测,进而计算出障碍物大小位置等信息。

分水岭算法

定义极小值点,本质上的意义就是定义道路和图像中其他区域的极小值点,使道路与图像中的其他区域划分开。 接着对极小值点的相邻像素按照等级进行逐级划分,等级是按照极小值点与相邻像素的距离划分的,而这里的距离是指两个像素点之间灰度值的差值。 从定义的极小值点开始逐步扩展形成集水盆。 从最小等级开始,对与集水盆相邻的像素点进行扩展。 如果当前要扩展的像素点只与一个集水盆相连,则把该点标记为相近集水盆的标记;如果当前要扩展的像素点 2个或多个集水盆相连,则把该点标记为分水线或者分水岭。 在进行扩展的过程中,只有当前等级的所有像素被划分完毕后,才能对下一个等级的像素进行划分。

基于多阈值 canny 的障碍物检测

由于室外环境下,阴影、光照、雨水等天气原因都会对图像的拍摄造成影响,所以采用的是双目摄像头模型,可以有效地减轻外界因素对图像的干扰。

Canny 边缘检测 [5] 算法阈值的不同,会导致所获得的边缘信息不同,本文中利用 2 个不同的阈值将点分为 3 类:强边缘点、弱边缘点、弱纹理点;其中弱边缘点是利用阈值较小的算子检测,除去通过阈值较大的算子得到的强边缘点所剩下的点;剩余的其他像素点则为弱纹理点。 再根据各点特征分配匹配窗口大小,强边缘点主要是位于边界和视差不连续点,其支持窗口应该越小越好;而弱纹理点周围的梯度变化不明显,窗口应足够大,包含更多的图像信息进来;而弱边缘点特征介于强边缘点与弱纹理点之间,处于 2 个以上的弱纹理交界处,兼有边缘与弱纹理的特征,所以窗口介于两者之间。 在本文算法中,强边缘点分配的是 1 ×3 窗口,弱边缘点分配的是 5 ×5 窗口,弱纹理点分配的是 11 ×11 窗口。

分配好所有点的窗口大小后,则需要进行最关键的一步———立体匹配 [6] 。 本文采用的是SAD 来作为匹配测度函数,如式(1)。 算法中假设以右图为参考图,令为匹配测度,d 为滑动窗口位移量,Wr 为匹配窗口,Ir (x,y)和 Ii(x+d,y) 分别为左图和右图中匹配窗口中心像素的灰度值。

最后可得到一幅初始视差图,图像的灰度深浅即表示了前方物体离摄像机的远近。

障碍物判别

在得到初始视差图后,需要进一步判别障碍物的远近及大小,所以这里引入 V-视差和 U-视差理论 [7] 。 V-视差图是在初始视差图的基础上,累加视差图像每一行上具有相同视差值 dv 的像素个数,以像素的个数作为像素坐标(dv,y)的灰度值,为 0 到 255。 V-视差图的高度与原图像是相同的,但是宽度只有 256 [8] 。 同理,U-视差图是累加视差图像每一列上具有相同视差值 du 的像素个数,高度为 256。

根据 V-视差图的原理,每一行中的视差值相同点的个数会被投影成一条直线,所以在 V-视差图中路面是一条斜线,障碍物是一条看似与斜线垂直的线段,可以通过该线段求出障碍物的高度 。同理,可通过 U-视差图计算出障碍物的宽度。 根据初始视差图中包含的视差值,由式(2)可以计算出每个障碍物的距离,其中摄像机的焦距 f 和 2 个摄像机基线距离 b 均是固定并且是已知的。

实验结果

4.1 道路识别结果该算法基于 VC 平台实现的,输入的图片是由摄像机所拍摄的普通道路图片,实验结果如图1 所示。

4.2 障碍物检测结果

输入的原始图片是由双目摄像机所拍摄的左右图像(图 2)

实验采用的是平行的摄像机模型,以右摄像机拍摄的图像为参考图像进行 Canny 边缘检测。 图 3为对参考图像进行不同阈值的边缘检测。

在求得每个点的最佳视差值之后,用该点的视差值来表示该点的像素值,形成图像的初始视差图,并且进行中值滤波后期处理,效果如图 4。

得到的初始视差图,利用 V-视差图和 U-视差图后根据图中信息计算障碍物的大小与位置。 输入 V-视差图和 U-视差图后,分别计算出了高度和宽度。 如图 5 所示。

实验中摄像机的焦距 30 mm,摄像机之间的基线距离为 200 mm,即可计算出障碍物所在位置离摄像机的距离。 算法数据与实际数据对比结果如表 1 所示。

总结

本论文中主要研究了基于双目视觉的自动驾驶,包括了道路识别算法、基于多阈值 Canny 的障碍物检测和判别。

算法的处理效果比较理想,运行处理速度在背景复杂的情况下偏慢。 研究了基于双目视觉的自动驾驶中障碍物识别问题。 该算法实验效果较好,但由于水平方向的信息较少使得障碍物的宽度检测结果存在一些误差。 在后续的深入研究中,应该把动态障碍物检测加入。

原文标题:基于双目视觉的无人驾驶算法

文章出处:【微信号:IV_Technology,微信公众号:智车科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

Waymo公开大型自动驾驶数据集 传感器同步效果增强

Waymo日前在IEEE CVPR 2019(Computer Vision and Pattern....
的头像 机器人技术与应用 发表于 06-19 17:13 104次 阅读
Waymo公开大型自动驾驶数据集 传感器同步效果增强

自动驾驶技术对连接器提出了更高的要求

目前在售的量产车型中自动驾驶技术仍处于L2级阶段及以下较多,也就是ADAS(高级驾驶辅助)技术。例如....
发表于 06-19 17:04 12次 阅读
自动驾驶技术对连接器提出了更高的要求

5G如何让无人驾驶跑起来

亚太股份运用5G网络,让这辆无人驾驶汽车成功地“跑”了起来。
发表于 06-19 15:43 28次 阅读
5G如何让无人驾驶跑起来

工业机器人市场萎缩 北美首季订单下滑

北美市场的下降并不突然,因为2018年全球工业机器人销量同比仅增长1%,整个市场已经表现出放缓的迹象....
的头像 OFweek工控 发表于 06-19 15:27 109次 阅读
工业机器人市场萎缩 北美首季订单下滑

新一代人工智能治理原则出台,让AI技术发展负起责任

最近一段时间,人们关于人工智能的讨论可真不少——换脸、反换脸技术斗得不可开交;无人驾驶引发事故如何追....
的头像 青岛科技通 发表于 06-19 14:55 131次 阅读
新一代人工智能治理原则出台,让AI技术发展负起责任

Apollo无人物流 为你的快递保驾护航

百度与江铃汽车合作开发了特顺自动驾驶车辆,基于百度Apollo3.5解锁复杂城市道路的技术框架。结合....
的头像 Apollo开发者社区 发表于 06-19 11:43 233次 阅读
Apollo无人物流 为你的快递保驾护航

特斯拉自动驾驶优于Waymo的三大理由

多数观点似乎是,Waymo在自动驾驶方面遥遥领先,特斯拉则远远落后
的头像 智车科技 发表于 06-19 10:40 169次 阅读
特斯拉自动驾驶优于Waymo的三大理由

最新黑科技来袭 很多企业开始“不务正业”

CES Asia是参展汽车企业数量最多的亚洲科技展,而本届的汽车技术展区面积比上一届扩大了一倍,现场....
的头像 CPCA印制电路信息 发表于 06-19 09:12 204次 阅读
最新黑科技来袭 很多企业开始“不务正业”

BDS和GPS双系统厘米级导航定位模块SKG12XR的数据手册免费下载

SKG12XR 是一款 BDS/GPS 双系统厘米级导航定位模块,能够同时支持 BDS B1、GPS....
发表于 06-19 08:00 6次 阅读
BDS和GPS双系统厘米级导航定位模块SKG12XR的数据手册免费下载

FUTURUS徐俊峰:我们与自动驾驶之间,还差多少“智能”?

在无人驾驶到来之际,整个车辆的设计与交互都需要重新构架,而整个自动驾驶技术产业链远比人们想象的更加复....
发表于 06-18 23:46 19次 阅读
FUTURUS徐俊峰:我们与自动驾驶之间,还差多少“智能”?

自动驾驶落地第一战场在哪

数据不足是目前整个自动驾驶产业链的短板。
发表于 06-18 17:09 89次 阅读
自动驾驶落地第一战场在哪

5G给自动驾驶带来什么影响

每一次的通讯技术迭代,更高的网络速率是升级重点,速率的提升将被应用于很多垂直行业中。
发表于 06-18 17:01 168次 阅读
5G给自动驾驶带来什么影响

沃尔沃集结了自动驾驶卡车“五大神兽”

那个曾经被称为最激进的自动驾驶电动卡车Vera终于完成了它的公路首秀!
的头像 OFweek工控 发表于 06-18 16:13 267次 阅读
沃尔沃集结了自动驾驶卡车“五大神兽”

YouGov:只有28%的美国人认为自动驾驶很安全

无人驾驶汽车被誉为汽车安全的未来,但绝大多数美国人仍然对自动驾驶的未来影响持谨慎态度。
发表于 06-18 14:39 88次 阅读
YouGov:只有28%的美国人认为自动驾驶很安全

Apollo轨迹规划技术分享Gitchat,一步帮你把车驶入正轨

听说你的无人车还不在状态?红黄绿交通灯识别不当,障碍物绕了又绕,这里有个机会助力你的车车步入“正轨”....
的头像 Apollo开发者社区 发表于 06-18 11:50 325次 阅读
Apollo轨迹规划技术分享Gitchat,一步帮你把车驶入正轨

路基自动驾驶的内涵与技术路线

近日,第六届国际智能网联汽车技术年会(CICV2019)在北京亦庄的亦创国际会展中心举办。
的头像 佐思汽车研究 发表于 06-18 11:33 185次 阅读
路基自动驾驶的内涵与技术路线

车路协同应用场景分析

本文试图厘清车联网、无人车、网联车、车路协同等概念,同时重点讨论了车路协同的主要应用场景。
的头像 智车科技 发表于 06-18 11:00 516次 阅读
车路协同应用场景分析

路基自动驾驶的内涵与技术路线

目前,高级别自动驾驶解决方案基本采用“感知-决策-执行”链条。
的头像 智车科技 发表于 06-18 10:47 213次 阅读
路基自动驾驶的内涵与技术路线

自动驾驶欲“抛弃”激光雷达?窄线宽半导体激光器来救场

难道激光雷达就这么被"抛弃"了?
的头像 智车科技 发表于 06-18 10:46 422次 阅读
自动驾驶欲“抛弃”激光雷达?窄线宽半导体激光器来救场

智能金字塔,目前的人工智能在哪一层?

60多年过去了,在人工智能大热的今天,人工智能究竟发展到哪一步了呢?
的头像 大数据文摘 发表于 06-18 08:58 281次 阅读
智能金字塔,目前的人工智能在哪一层?

丰田和沃尔沃自动驾驶背后的推动者是谁?

在汽车领域AI(人工智能)半导体的搭载已经司空见惯。
的头像 汽车工程师 发表于 06-17 16:48 468次 阅读
丰田和沃尔沃自动驾驶背后的推动者是谁?

基於约束优化的算法:通用软件的益处

在全球智能化商业峰会」上,斯坦福大学荣誉教授、新西兰皇家学会荣誉成员、世界级算法专家 Michael....
的头像 人工智能学家 发表于 06-17 16:33 199次 阅读
基於约束优化的算法:通用软件的益处

德赛西威与四维图新战略合作 共同提供量产自动驾驶核心解决方案

德赛西威近日与四维图新签署战略合作框架协议,双方将在自动驾驶地图及智能网联等领域进行深入合作。根据协....
的头像 PCB资讯家 发表于 06-17 15:49 220次 阅读
德赛西威与四维图新战略合作 共同提供量产自动驾驶核心解决方案

5G已经来了 智能汽车自动驾驶技术还远吗?

智能驾驶是人工智能与传统汽车相结合的创新产物,是汽车行业发展的未来。
的头像 智车科技 发表于 06-17 14:03 395次 阅读
5G已经来了 智能汽车自动驾驶技术还远吗?

日本专门驾驶带安全系统车辆防止事故发生

日本媒体的报道,由于老年人开车频发交通事故,日本政府正在讨论创设一种新型驾照制度,持新驾照的老年人只....
发表于 06-17 11:40 39次 阅读
日本专门驾驶带安全系统车辆防止事故发生

蔚来推送L2级别自动辅助驾驶功能和NIO OS 2.0智能操作系统

6月10日,NIO Pilot自动辅助驾驶系统迎来升级,本次新增7项功能;同时推送升级的还有NIO ....
发表于 06-17 09:12 108次 阅读
蔚来推送L2级别自动辅助驾驶功能和NIO OS 2.0智能操作系统

计算机视觉及智能影像行业深度研究报告

计算机视觉是 AI 核心研究领域,目的在于让机器具备人类的“眼力”。计算机视觉是人工智能的 分支之一....
的头像 新机器视觉 发表于 06-17 08:59 928次 阅读
计算机视觉及智能影像行业深度研究报告

绘制高精地图如何面对无人驾驶的到来

高精地图的绘制并不难,问题在于成本。难的是如何理解环境发生的变化,并做出快速精准的判断,并与车辆进行....
发表于 06-17 08:39 133次 阅读
绘制高精地图如何面对无人驾驶的到来

自动驾驶现在处于什么水平

在可见的未来,自动驾驶量产纵然会绕路或者放缓,但迟早会实现。
发表于 06-17 08:35 151次 阅读
自动驾驶现在处于什么水平

心大!司机睡着了,特斯拉自动驾驶狂奔50公里!

不得不说,特斯拉的自动驾驶技术还真是不错。
的头像 智车科技 发表于 06-16 10:56 593次 阅读
心大!司机睡着了,特斯拉自动驾驶狂奔50公里!

自动驾驶模拟仿真系统中的传感器模型

摄像头仿真就是生成图像,逼真的图像,通过计算机图形学对三维景物(CAD)模型添加颜色与光学属性。
的头像 智车科技 发表于 06-16 10:52 529次 阅读
自动驾驶模拟仿真系统中的传感器模型

大众福特联盟谈判终局 共创自动驾驶合资企业

没有永远的敌人,只有永恒的利益。
的头像 智车科技 发表于 06-16 10:52 929次 阅读
大众福特联盟谈判终局 共创自动驾驶合资企业

用于自动驾驶车辆的速度控制的参数

在自动驾驶研究的道路上,中国和美国是处于领先地位的。
的头像 智车科技 发表于 06-16 10:49 351次 阅读
用于自动驾驶车辆的速度控制的参数

目标检测二十年的技术综述和总结及未来的发展方向详细分析

作者们review 400+篇论文,总结目标检测发展的里程碑算法和state-of-the-art,....
的头像 AI科技大本营 发表于 06-16 10:43 281次 阅读
目标检测二十年的技术综述和总结及未来的发展方向详细分析

华为“造车”,为时未晚!

为了布局5G未来的商业模式,华为与多家车企成立了合作企业开发自动驾驶汽车。
的头像 大数据文摘 发表于 06-16 10:28 928次 阅读
华为“造车”,为时未晚!

视觉成像助力感知决策 图像增强引擎赋能自动驾驶

本次会议智车科技针对自动驾驶视觉传感器应用领域的相关内容对眼擎科技创始人朱继志进行了专访。
的头像 智车科技 发表于 06-15 11:00 702次 阅读
视觉成像助力感知决策 图像增强引擎赋能自动驾驶

李沐大神《动手学深度学习》中文版发布了!

这些目标往往互有冲突:公式、定理和引用最容易通过LaTeX进行管理和展示,代码自然应该用简单易懂的P....
的头像 新智元 发表于 06-15 10:42 739次 阅读
李沐大神《动手学深度学习》中文版发布了!

基于最优质量传输理论的多机器人协同探索并重建未知室内场景模型的算法

这是因为当前实时算法之所以能做到实时响应,是因为其做了很多假设,例如要求扫描设备的移动足够平滑甚至是....
的头像 新智元 发表于 06-15 10:14 382次 阅读
基于最优质量传输理论的多机器人协同探索并重建未知室内场景模型的算法

基于嵌入式系统提供的家庭安防解决方案

近年来,安防行业高速发展,行业产值屡创新高。根据网络数据的统计,2007年至2016年,安防行业年复....
发表于 06-14 16:47 103次 阅读
基于嵌入式系统提供的家庭安防解决方案

总投资18.96亿元 国家智能网联汽车测试区开园一周年

长沙测试区涵盖228个测试场景,是目前国内测试场景类型最丰富、测试道路总里程最长、5G覆盖范围最广的....
的头像 佐思汽车研究 发表于 06-14 11:37 600次 阅读
总投资18.96亿元 国家智能网联汽车测试区开园一周年

谁,才是中国最强的自动驾驶之城?

智能交通时代汹涌而来,各地竞逐自动驾驶产业的意图已十分明朗。在经历了多年的基础环境准备和技术积累之后....
的头像 智车科技 发表于 06-14 11:01 429次 阅读
谁,才是中国最强的自动驾驶之城?

全面解读自动驾驶的关键组成部分

本文简要而全面地概述了自动驾驶汽车(自动驾驶系统)的关键组成部分,包括自动驾驶水平、自动驾驶汽车传感....
的头像 智车科技 发表于 06-14 10:58 459次 阅读
全面解读自动驾驶的关键组成部分

中国自动驾驶汽车产业区域发展评价报告2019

谁,才是中国最强“自动驾驶之城”?
的头像 智车科技 发表于 06-14 10:58 451次 阅读
中国自动驾驶汽车产业区域发展评价报告2019

传华为正与奥迪等研发无人车 最早2021年上市

华为日前在上海总部播放了一段由该公司AI技术驱动的奥迪汽车视频。
的头像 网易智能 发表于 06-14 09:49 420次 阅读
传华为正与奥迪等研发无人车 最早2021年上市

干货 | 深度学习,怎么知道你的训练数据真的够了?

最近有很多关于数据是否是新模型驱动 [1] [2] 的讨论,无论结论如何,都无法改变我们在实际工作中....
的头像 中科院长春光机所 发表于 06-13 16:37 226次 阅读
干货 | 深度学习,怎么知道你的训练数据真的够了?

无人驾驶 | 了解工作原理及关键技术

无人驾驶汽车是智能汽车的一种,也称为轮式移动机器人,主要依靠车内的以计算机系统为主的智能驾驶仪来实现....
的头像 中科院长春光机所 发表于 06-13 16:30 553次 阅读
无人驾驶 | 了解工作原理及关键技术

5G对于自动驾驶意味着什么?

5G真正提升的是车联网技术,而车联网是自动驾驶的基础,也是其中必不可少的一部分。
的头像 智车科技 发表于 06-13 11:41 546次 阅读
5G对于自动驾驶意味着什么?

华为入局车企 使早已竞争激烈的战场更加惨烈

随着新能源汽车这几年的发展,汽车“四化(智能化、网联化、电动化、共享化)”成为各大车企、零部件厂商必....
的头像 智车科技 发表于 06-13 11:37 757次 阅读
华为入局车企 使早已竞争激烈的战场更加惨烈

2019年ADAS与自动驾驶市场蓝皮书

发表于 05-29 23:07 166次 阅读
2019年ADAS与自动驾驶市场蓝皮书

Uber无人车致命车祸的原因是什么

Uber无人车撞死人原因:软件发现了受害者但选择忽略...
发表于 05-28 09:26 72次 阅读
Uber无人车致命车祸的原因是什么

无人驾驶技术之Kalman Filter介绍

基本思想  以K-1时刻的最优估计Xk-1为准,预测K时刻的状态变量Xk/k-1,同时又对该状态进行观测,得到观测变量Zk,再在预测...
发表于 05-13 10:31 972次 阅读
无人驾驶技术之Kalman Filter介绍

人工智能上路需要知道什么常识

想要准确定义我们所说的常识可能有点难。常识可以基于某种文化,比如生活在某一地区的人都知道这种花有毒,而你作为游客却不知道...
发表于 05-13 06:20 241次 阅读
人工智能上路需要知道什么常识

如何让自动驾驶更加安全?

最近,国内多个城市开始发放自动驾驶的开放道路测试牌照,意味着自动驾驶的汽车可以在公共道路上进行测试。不过,驾驶安全性仍是...
发表于 05-13 00:26 99次 阅读
如何让自动驾驶更加安全?

自动驾驶汽车的定位技术

自动驾驶定位技术就是解决“我在哪儿”的问题,并且对可靠性和安全性提出了非常高的要求。除了GPS与惯性传感器外,我们通常还...
发表于 05-09 04:41 124次 阅读
自动驾驶汽车的定位技术

黑科技进入我们的生活,影响到我们的衣食住行

 你看,他的自行车跑的比汽车还快;  你看,他的手表竟然能打电话;   你看,他的电脑会跟他聊天;   你看,他的汽车不...
发表于 04-04 06:20 183次 阅读
黑科技进入我们的生活,影响到我们的衣食住行

中国自动驾驶行业前景看好,国产技术迅速发展

自动驾驶汽车是依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作,让电脑可以在没有任何人类主动的操作下,自动安...
发表于 04-03 05:36 259次 阅读
中国自动驾驶行业前景看好,国产技术迅速发展

未来汽车的安全怎么保证

在郊区,一位商人走过轿车前门,坐到后座说道:“去机场,詹姆斯!走快车道。”詹姆斯回答说:“马上出发,史密斯先生。以目前的...
发表于 03-27 06:45 262次 阅读
未来汽车的安全怎么保证

车联网对自动驾驶的影响

车联网与智能驾驶 车联网和自动驾驶密切相关,很大程度上可以理解为是对自动驾驶高阶版本的增强和补充,通过车与车、车与人、...
发表于 03-19 06:20 224次 阅读
车联网对自动驾驶的影响