张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

基于双目视觉的自动驾驶中障碍物识别问题

智车科技 2018-11-29 16:27 次阅读

基于现实世界是一个三维空间,所以对计算机视觉的研究也应该是在三维空间中进行的。 在自动驾驶过程中的首要任务就是道路识别 [1] ,主要是图像特征法和模型匹配法来进行识别。行驶过程中需要进行障碍物检测 [2] 和路标路牌识别等,此时车辆上的信息采集便可以运用单目视觉或者多目视觉。

相比之下,运用多目视觉更具优势,获取的图像信息可构建成三维空间,物体运动以及遮挡等问题对其影响较小。目前有很多智能小车的研究都是基于室内环境的研究,本文基于室外环境,采用双目摄像机模型 [3] ,考虑光照、路面材质等问题,采用分水岭算法 [4] 对智能车的区域进行定位,以及在行驶区域中采用多阈值 canny 算法来进行障碍物的检测,进而计算出障碍物大小位置等信息。

分水岭算法

定义极小值点,本质上的意义就是定义道路和图像中其他区域的极小值点,使道路与图像中的其他区域划分开。 接着对极小值点的相邻像素按照等级进行逐级划分,等级是按照极小值点与相邻像素的距离划分的,而这里的距离是指两个像素点之间灰度值的差值。 从定义的极小值点开始逐步扩展形成集水盆。 从最小等级开始,对与集水盆相邻的像素点进行扩展。 如果当前要扩展的像素点只与一个集水盆相连,则把该点标记为相近集水盆的标记;如果当前要扩展的像素点 2个或多个集水盆相连,则把该点标记为分水线或者分水岭。 在进行扩展的过程中,只有当前等级的所有像素被划分完毕后,才能对下一个等级的像素进行划分。

基于多阈值 canny 的障碍物检测

由于室外环境下,阴影、光照、雨水等天气原因都会对图像的拍摄造成影响,所以采用的是双目摄像头模型,可以有效地减轻外界因素对图像的干扰。

Canny 边缘检测 [5] 算法阈值的不同,会导致所获得的边缘信息不同,本文中利用 2 个不同的阈值将点分为 3 类:强边缘点、弱边缘点、弱纹理点;其中弱边缘点是利用阈值较小的算子检测,除去通过阈值较大的算子得到的强边缘点所剩下的点;剩余的其他像素点则为弱纹理点。 再根据各点特征分配匹配窗口大小,强边缘点主要是位于边界和视差不连续点,其支持窗口应该越小越好;而弱纹理点周围的梯度变化不明显,窗口应足够大,包含更多的图像信息进来;而弱边缘点特征介于强边缘点与弱纹理点之间,处于 2 个以上的弱纹理交界处,兼有边缘与弱纹理的特征,所以窗口介于两者之间。 在本文算法中,强边缘点分配的是 1 ×3 窗口,弱边缘点分配的是 5 ×5 窗口,弱纹理点分配的是 11 ×11 窗口。

分配好所有点的窗口大小后,则需要进行最关键的一步———立体匹配 [6] 。 本文采用的是SAD 来作为匹配测度函数,如式(1)。 算法中假设以右图为参考图,令为匹配测度,d 为滑动窗口位移量,Wr 为匹配窗口,Ir (x,y)和 Ii(x+d,y) 分别为左图和右图中匹配窗口中心像素的灰度值。

最后可得到一幅初始视差图,图像的灰度深浅即表示了前方物体离摄像机的远近。

障碍物判别

在得到初始视差图后,需要进一步判别障碍物的远近及大小,所以这里引入 V-视差和 U-视差理论 [7] 。 V-视差图是在初始视差图的基础上,累加视差图像每一行上具有相同视差值 dv 的像素个数,以像素的个数作为像素坐标(dv,y)的灰度值,为 0 到 255。 V-视差图的高度与原图像是相同的,但是宽度只有 256 [8] 。 同理,U-视差图是累加视差图像每一列上具有相同视差值 du 的像素个数,高度为 256。

根据 V-视差图的原理,每一行中的视差值相同点的个数会被投影成一条直线,所以在 V-视差图中路面是一条斜线,障碍物是一条看似与斜线垂直的线段,可以通过该线段求出障碍物的高度 。同理,可通过 U-视差图计算出障碍物的宽度。 根据初始视差图中包含的视差值,由式(2)可以计算出每个障碍物的距离,其中摄像机的焦距 f 和 2 个摄像机基线距离 b 均是固定并且是已知的。

实验结果

4.1 道路识别结果该算法基于 VC 平台实现的,输入的图片是由摄像机所拍摄的普通道路图片,实验结果如图1 所示。

4.2 障碍物检测结果

输入的原始图片是由双目摄像机所拍摄的左右图像(图 2)

实验采用的是平行的摄像机模型,以右摄像机拍摄的图像为参考图像进行 Canny 边缘检测。 图 3为对参考图像进行不同阈值的边缘检测。

在求得每个点的最佳视差值之后,用该点的视差值来表示该点的像素值,形成图像的初始视差图,并且进行中值滤波后期处理,效果如图 4。

得到的初始视差图,利用 V-视差图和 U-视差图后根据图中信息计算障碍物的大小与位置。 输入 V-视差图和 U-视差图后,分别计算出了高度和宽度。 如图 5 所示。

实验中摄像机的焦距 30 mm,摄像机之间的基线距离为 200 mm,即可计算出障碍物所在位置离摄像机的距离。 算法数据与实际数据对比结果如表 1 所示。

总结

本论文中主要研究了基于双目视觉的自动驾驶,包括了道路识别算法、基于多阈值 Canny 的障碍物检测和判别。

算法的处理效果比较理想,运行处理速度在背景复杂的情况下偏慢。 研究了基于双目视觉的自动驾驶中障碍物识别问题。 该算法实验效果较好,但由于水平方向的信息较少使得障碍物的宽度检测结果存在一些误差。 在后续的深入研究中,应该把动态障碍物检测加入。

声明:本文由入驻电子说专栏的作者撰写或者网上转载,观点仅代表作者本人,不代表电子发烧友网立场。如有侵权或者其他问题,请联系举报。侵权投诉

原文标题:基于双目视觉的无人驾驶算法

文章出处:【微信号:IV_Technology,微信公众号:智车科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

九号机器人推出一款运用半自动无人驾驶功能的滑板车T60

九号机器人推出智能共享滑板车T60
的头像 陈翠 发表于 08-19 16:32 110次 阅读
九号机器人推出一款运用半自动无人驾驶功能的滑板车T60

邬贺铨:5G为车联网而生,让自动驾驶真正实现

2019年亚布力中国企业家论坛第十五届夏季高峰会在天津举行,中国工程院院士邬贺铨发表演讲称,5G本身....
的头像 电子发烧友网工程师 发表于 08-19 16:22 87次 阅读
邬贺铨:5G为车联网而生,让自动驾驶真正实现

一场汇聚多行业智慧与洞见的泛人工智能视听盛宴

随着人工智能技术日趋成熟,人类精神文明的传承与发扬获得了更先进的科技支持,从敦煌千年飞天壁画到沉浸式....
的头像 倩倩 发表于 08-19 14:46 39次 阅读
一场汇聚多行业智慧与洞见的泛人工智能视听盛宴

上海将再次向世界宣示打造人工智能发展高地的决心

如今,国际巨头与本土翘楚正形成齐头并进之势。微软、亚马逊等国际科技巨头,为上海人工智能产业带来国际视....
的头像 倩倩 发表于 08-19 14:36 111次 阅读
上海将再次向世界宣示打造人工智能发展高地的决心

C²B:一种适合汽车应用的新型车用摄像头及视频链路

随着自动驾驶汽车的应用日益广泛,需要更多汽车传感器的需求日趋明显。摄像头是推动自动驾驶汽车发展的关键....
发表于 08-19 12:07 59次 阅读
C²B:一种适合汽车应用的新型车用摄像头及视频链路

美光科技的新加坡Fab 10A厂完成扩建,台中厂扩建可在年底落成

存储器大厂美光科技(Micron)近日宣布完成新加坡NAND Flash厂Fab 10A扩建。美光执....
的头像 电子发烧友网工程师 发表于 08-19 11:33 158次 阅读
美光科技的新加坡Fab 10A厂完成扩建,台中厂扩建可在年底落成

OpenCV跨平台计算机视觉库的详细资料简介

OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Window....
发表于 08-19 08:00 7次 阅读
OpenCV跨平台计算机视觉库的详细资料简介

自动驾驶时代的前夜 巡航功能技术的变迁

实现 ACC 功能最关键的是雷达传感器。系统开启后,雷达对前车最远的探测距离可以达到 200 米,一....
发表于 08-18 11:00 109次 阅读
自动驾驶时代的前夜  巡航功能技术的变迁

大联大品佳推汽车自适应大灯系统ADB方案 提高夜间行驶安全性

致力于亚太地区市场的领先半导体元器件分销商---大联大控股宣布,其旗下品佳推出基于安森美半导体(ON....
发表于 08-16 17:31 780次 阅读
大联大品佳推汽车自适应大灯系统ADB方案 提高夜间行驶安全性

【独家专访】Melexis:以技术创新助力汽车行业变革

汽车行业变革之际,为应对新技术、新趋势带来的挑战,Melexis研发电气化、自动驾驶、个性化领域的创....
发表于 08-16 17:31 162次 阅读
【独家专访】Melexis:以技术创新助力汽车行业变革

DARPA地下挑战竞赛,获胜可赢得高达200万美元的资金

DARPA本周将主办DARPA地下挑战系统竞赛。这项挑战将于8月15日至22日进行,并将在匹兹堡的采....
的头像 大数据文摘 发表于 08-16 15:55 92次 阅读
DARPA地下挑战竞赛,获胜可赢得高达200万美元的资金

“图森未来”获得美国快递公司UPS投资

自动驾驶货运卡车技术研发商“图森未来”获得美国快递公司UPS投资。
的头像 行业投资 发表于 08-16 14:01 1235次 阅读
“图森未来”获得美国快递公司UPS投资

特斯拉自动驾驶技术接二连三的车祸与起火,遭遇调查

当特斯拉首次推出Autopilot时,也把“完全自动驾驶”这一概念推向了人们的认知视野。虽然这项功能....
的头像 机器人频道 发表于 08-16 11:45 824次 阅读
特斯拉自动驾驶技术接二连三的车祸与起火,遭遇调查

UPS的投资,加入当下对无人驾驶物流配送行业的押注中

UPS的投资,加入当下对无人驾驶物流配送行业的押注中。UPS的声明披露,自今年5月起,图森未来和UP....
的头像 飞马机器人 发表于 08-16 11:22 175次 阅读
UPS的投资,加入当下对无人驾驶物流配送行业的押注中

无人驾驶公司图森未来获UPS投资,加速无人驾驶卡车的商业落地

8月16日早间消息,无人驾驶公司图森未来获UPS投资,加速无人驾驶卡车研发与应用,投资金额未透露。目....
的头像 电子发烧友网工程师 发表于 08-16 02:11 106次 阅读
无人驾驶公司图森未来获UPS投资,加速无人驾驶卡车的商业落地

自动驾驶商业服务将传感器需求从车拓展至基础设施

自动驾驶服务是一项需要长期投入资金与时间的计划,在实现大型开发计划的条件中除了研发能力,还需要能承受....
的头像 人工智能学家 发表于 08-15 16:30 735次 阅读
自动驾驶商业服务将传感器需求从车拓展至基础设施

百度无人巴士二代很快将推出,将在重庆等落地

据最新消息显示,百度无人巴士二代很快将推出,也将在重庆等落地。值得一提的是,百度L4级别自动驾驶城市....
的头像 通信信号处理研究所 发表于 08-15 16:00 172次 阅读
百度无人巴士二代很快将推出,将在重庆等落地

美行科技的胡晨曦分享关于自动驾驶定位的相关观点

今天跟大家分享的题目是“定位技术是自动驾驶的关键核心”,这个题目有三个关键要素,对自动驾驶技术框架进....
的头像 Midifan 发表于 08-15 15:32 982次 阅读
美行科技的胡晨曦分享关于自动驾驶定位的相关观点

Elektrobit、百度宣布建立战略合作伙伴关系

EB将为百度Apollo专为自动驾驶开发的先进车载计算平台ACU(Apollo Computing ....
的头像 Midifan 发表于 08-15 15:15 265次 阅读
Elektrobit、百度宣布建立战略合作伙伴关系

西门子宣布推出PAVE360自动驾驶硅前验证环境

近日,据外媒报道,西门子(Siemens)日前宣布,推出PAVE360自动驾驶硅前验证环境(pre-....
的头像 人工智能爱好者社区 发表于 08-15 10:09 651次 阅读
西门子宣布推出PAVE360自动驾驶硅前验证环境

IC Insights:MCU市场将触底反弹!

2019年中期,MCU市场渐趋稳定,IC Insights预估微控制器将在未来半年内跌幅脱离两位数百....
发表于 08-15 10:01 433次 阅读
IC Insights:MCU市场将触底反弹!

Swift Navigation联网Skylark精确定位服务网络可覆盖全美

据外媒报道,自动驾驶汽车GNSS定位技术公司Swift Navigation联网Skylark精确定....
的头像 门禁读卡器 发表于 08-15 09:49 253次 阅读
Swift Navigation联网Skylark精确定位服务网络可覆盖全美

无人驾驶已经很成熟了,却还没有普及开来,怎么回事呢?

随着人类科技水平的发展,在前几年的时候。就已经听说过有无人驾驶这个技术了,可以说这将会改变未来人们的....
的头像 班组安全 发表于 08-15 09:17 297次 阅读
无人驾驶已经很成熟了,却还没有普及开来,怎么回事呢?

法雷奥聚焦直觉驾驶有哪些竞争优势?又是怎样保持进攻姿态?

狼烟起,自动驾驶领域群雄逐鹿!车企、零部件巨头、科技公司都在环伺进攻,谁都想在市场大爆发前准备够充足....
的头像 数字信号处理辅导 发表于 08-15 08:51 897次 阅读
法雷奥聚焦直觉驾驶有哪些竞争优势?又是怎样保持进攻姿态?

机器学习给了我们现实世界中的超能力

我们的人类感知系统是惊人的。
的头像 Midifan 发表于 08-14 16:45 180次 阅读
机器学习给了我们现实世界中的超能力

智能互联网汽车到底有多厉害呢

你听过自动驾驶吗?现如今,汽车已基本成为每个家庭的必备产品,随着科技的发展,“自动驾驶”这个听起来很....
发表于 08-14 08:58 218次 阅读
智能互联网汽车到底有多厉害呢

沃尔沃研发出世界第一辆全自动新能源公交车

许多品牌汽车一直在尝试第五级自动驾驶的广泛应用,而自动驾驶的穿梭巴士测试在此前得到了良好的测试结果。....
发表于 08-14 08:54 181次 阅读
沃尔沃研发出世界第一辆全自动新能源公交车

合肥市首条自动驾驶5G示范运行线4.4公里

8月13日消息 据安徽日报报道,合肥市经信局表示,合肥市将启动建设塘西河公园4.4公里自动驾驶5G示....
的头像 无人自动驾驶 发表于 08-13 20:08 626次 阅读
合肥市首条自动驾驶5G示范运行线4.4公里

面向企业架构、技术创新领导者的十大无线技术趋势

无线技术在如今的通信中发挥着关键作用,而新型无线技术将成为未来五年机器人、无人机、自动驾驶汽车和新型....
的头像 第一手机界 发表于 08-13 18:12 166次 阅读
面向企业架构、技术创新领导者的十大无线技术趋势

德企推出新款旗舰TS3,实现可靠的目标探测和态势感知能力

D超声波传感器助力提高自动驾驶汽车目标探测能力
的头像 毒舌科技 发表于 08-13 18:00 569次 阅读
德企推出新款旗舰TS3,实现可靠的目标探测和态势感知能力

无人驾驶汽车技术标准化中国领先!

芯片巨头高通公司(Qualcomm)表示,中国计划标准化使用5G技术实现车辆间通信,这可能导致美国在....
的头像 大健康产业情报 发表于 08-13 17:41 217次 阅读
无人驾驶汽车技术标准化中国领先!

Intel AI芯片助力无人驾驶

效率是传统CPU一万倍
的头像 吴晓波频道 发表于 08-13 17:29 238次 阅读
Intel AI芯片助力无人驾驶

无人驾驶会因为5G而最早落地吗

随着一些地方的基站建设提速,5G(第五代移动通信技术)已经在一些地方落地应用。
发表于 08-13 16:24 593次 阅读
无人驾驶会因为5G而最早落地吗

车联网得到5G的帮助后还需要解决什么问题

通过利用5G技术发挥车路协同优势,以无人驾驶为代表的车联网将是5G的一项重要应用。
发表于 08-13 15:23 456次 阅读
车联网得到5G的帮助后还需要解决什么问题

EBEB tresos 加速百度 ACU 产品的量产开发

Elektrobit 与百度Apollo建立合作伙伴关系 旨在实现安全的自动驾驶
的头像 一小时爸爸 发表于 08-13 11:47 269次 阅读
EBEB tresos 加速百度 ACU 产品的量产开发

日本自动驾驶实用化安全标准出台

2020年实现3级自动驾驶。
的头像 电子工程技术 发表于 08-13 10:20 329次 阅读
日本自动驾驶实用化安全标准出台

2019年中国高校AI影响力排名出炉,清华第一,中科院第二

Acemap团队近日推出了一项基于2009年至2019年各大研究机构、学者论文发表及引用情况的影响力....
的头像 Blue5 发表于 08-11 16:49 5836次 阅读
2019年中国高校AI影响力排名出炉,清华第一,中科院第二

如何才能进行良好的物联网连接解决方案

如今有很多非常不同的物联网应用,从每隔几小时发送几个字节的土壤传感器,到不断发送数兆字节数据的无人驾....
的头像 物联之家网 发表于 08-11 10:46 857次 阅读
如何才能进行良好的物联网连接解决方案

大众试点项目,为自动驾驶电动汽车打造可进行充电的机器人

汽车的未来将属于电动汽车和自动驾驶出租车。因此,为什么不试着使用机器人来给自动驾驶汽车充电呢?8月1....
发表于 08-11 08:13 81次 阅读
大众试点项目,为自动驾驶电动汽车打造可进行充电的机器人

制定一些基本规则来安全地制造、测试和驾驶机器人汽车

这并不是可以让自动驾驶汽车更安全的技术解决方案,而是全面了解行业在制造、测试和操作自动驾驶汽车时如何....
的头像 IEEE电气电子工程师学会 发表于 08-10 10:13 220次 阅读
制定一些基本规则来安全地制造、测试和驾驶机器人汽车

行业 | 计算机视觉的三生三世

腾讯 AI Lab & Robotics X 主任,ACM Fellow, IEEE Fellow,....
的头像 人工智能学家 发表于 08-09 19:05 443次 阅读
行业 | 计算机视觉的三生三世

机器视觉的四大基本功能

目前,机器视觉的基础功能主要可以分为四大类:模式识别/计数、视觉定位、尺寸测量和外观检测,当前的应用....
的头像 人工智能学家 发表于 08-09 18:40 342次 阅读
机器视觉的四大基本功能

无人驾驶风口来临,各方资本竞相追逐

据业内预测,2019年到2020年无人驾驶L3(条件自动)级别的汽车将实现量产化,2022年后部分企....
的头像 人工智能学家 发表于 08-09 18:36 759次 阅读
无人驾驶风口来临,各方资本竞相追逐

桥接视觉与语言的研究综述

近年来,由于深度学习、计算机视觉和自然语言处理等多学科领域的兴趣激增,视觉和语言任务的桥接得到了显著....
的头像 中国人工智能学会 发表于 08-09 18:32 326次 阅读
桥接视觉与语言的研究综述

自动驾驶系列报告大放送了涉及传感器,芯片,执行控制等

自动驾驶系列报告,总共五部, 自动驾驶系列报告之一:综合篇:自动驾驶的时代已经开始到来, 自动驾驶系列报告之二:...
发表于 08-09 17:14 211次 阅读
自动驾驶系列报告大放送了涉及传感器,芯片,执行控制等

增强现实技术原理

用户对现实世界感知的新技术。
的头像 传感器技术 发表于 08-09 14:56 254次 阅读
增强现实技术原理

汽车自动驾驶技术为什么离不开5G

随着5G技术的到来,改变了众多的行业,而5G技术也成为了热门的话题,汽车行业正经历着自动驾驶功能的指....
发表于 08-09 09:03 322次 阅读
汽车自动驾驶技术为什么离不开5G

详解自动驾驶车载摄像头、毫米波雷达和激光雷达市场格局

自动驾驶汽车作为汽车未来的重要发展方向,成为汽车零部件产业链的重要增长点。
的头像 传感器技术 发表于 08-09 08:54 1757次 阅读
详解自动驾驶车载摄像头、毫米波雷达和激光雷达市场格局

汽车雷达探头想要发展必须得解决哪些问题?

自主驾驶当前引领全球,此趋势将来定会加速发展。这一领域的关键技术是汽车雷达探头,它是朝向更舒适驾驶、防撞,甚至是自动驾驶...
发表于 08-09 06:19 51次 阅读
汽车雷达探头想要发展必须得解决哪些问题?

自动驾驶:技术升级,攻关是一场艰难的“长征”

作为目前科技产业界的热门领域,自动驾驶的发展引人关注。
的头像 摄像头观察 发表于 08-08 15:18 353次 阅读
自动驾驶:技术升级,攻关是一场艰难的“长征”

半导体IP如何成为无人驾驶价值的核心?

汽车市场正在经历重大变革,汽车已经不再是过去的单一的代步工具,逐渐具备了完善的娱乐功能。
的头像 Imagination Tech 发表于 08-08 10:46 605次 阅读
半导体IP如何成为无人驾驶价值的核心?

全自动驾驶时代,计算机算力面临的挑战

自动驾驶级别每升高一级,对计算力的需求至少增加十倍
的头像 Imagination Tech 发表于 08-08 10:39 351次 阅读
全自动驾驶时代,计算机算力面临的挑战

真正步入自动驾驶汽车需要多久?

自动驾驶汽车,它们不需要一个人类驾驶员坐在方向盘后面(当然,也许会有一个,但并不是从传统的角度实际使用操控机制)。与之相...
发表于 08-02 08:03 86次 阅读
真正步入自动驾驶汽车需要多久?

MEMS技术究竟有多重要?

如果观看过索契冬奥会的户外赛事转播,您可能注意到,滑雪板和滑雪赛场上空盘旋着小巧如蜘蛛般的摄像飞行器。这些无人飞行器用于...
发表于 07-31 07:24 119次 阅读
MEMS技术究竟有多重要?

智能感知方案怎么帮助实现安全的自动驾驶?

未来,自动驾驶将不再是科幻电影里的桥段,这是未来汽车的一个趋势,感知是自动驾驶的重要组成部分,同时安全性至关重要。作为全...
发表于 07-31 07:11 85次 阅读
智能感知方案怎么帮助实现安全的自动驾驶?

车辆感知如何提高和发展

自动驾驶汽车的梦想正在成为现实。通过在车辆中实现多种先进的驾驶员辅助系统(ADAS),汽车行业对于完全自动驾驶的追求正在...
发表于 07-29 08:26 125次 阅读
车辆感知如何提高和发展

ADI与合作伙伴共建智能汽车生态圈

“高性能、低成本、差异化、系统级解决方案”四大标签为其背书,ADI以全球经验践行生态圈共赢发展理念,为中国智能汽车技术升...
发表于 07-25 07:08 58次 阅读
ADI与合作伙伴共建智能汽车生态圈

富士通在新能源与自动驾驶汽车市场的发展

据Global Market Insight的预测数据显示,随着新能源汽车的发展以及自动驾驶技术的成熟,汽车电子零部件市场规模将保持高速增...
发表于 07-22 06:12 71次 阅读
富士通在新能源与自动驾驶汽车市场的发展

自动驾驶的出现让GPS变得危险

在谈论自动驾驶时,我们谈论的并非一个独立的个体,而是一套完整的技术矩阵。在这个技术矩阵中,除去雷达传感器、算法之外,还有...
发表于 07-22 01:36 153次 阅读
自动驾驶的出现让GPS变得危险

自动导引车案例

作者:Alix Paultre, Embedded Computing Design 在工厂自动化、仓库配货以及其他物料运输环境中正在采用自动导引车 (AG...
发表于 07-16 07:14 398次 阅读
自动导引车案例