0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于车载视觉的优点和不足

ADAS 来源:djl 作者:郭烈 高龙 赵宗艳 2019-08-09 17:29 次阅读

随着汽车保有量的不断增加,道路交通事故和因车祸伤亡的人数居高不下。为满足人们对汽车安全性能要求的日益提高,越来越多的先进技术被应用到汽车主动安全领域。在道路交通事故中,主要的受害群体是参与交通系统中的行人和骑自行车的人等。据美国高速公路安全管理局(NHTSA)的资料显示,2008 年美国由于交通事故导致69 000 个行人死亡或者受伤、4 378 个行人死亡,行人死亡人数占全年交通事故死亡总人数的11.7%。2007年我国因交通事故导致行人死亡的人数为21 106 人,占交通事故死亡总人数的25. 9%,行人受伤人数为70 838 人,占交通事故受伤总人数的18.6%. 与一些发达国家相比,由于我国的交通模式主要是混合交通模式,导致交通事故死亡原因和伤害模式与发达国家不同。

近年来,为保障行人安全、提高汽车主动安全性能,国内外一些科研院所对行人保护技术进行了研究探讨,在不断完善汽车被动安全系统的同时,逐渐发展和应用主动安全系统,结合行人保护概念和技术的引入,完善对行人的保护。如Bajracharya等建立了双目视觉行人保护集成系统,实现道路交通场景下40 m 距离范围内行人的检测与跟踪。

Munder 等融合行人的点分布形状模型和纹理特征建立了行人识别分类器,采用基于粒子滤波的贝叶斯方法实现行人的跟踪。德国Enzweiler 等分别针对统计学习中的小波特征、线性支持向量机以及神经网络的方法进行比较分析,通过设计不同尺度的分类器来检测图像中的行人。清华大学的江帆等提出一种基于模型融合的行人跟踪算法,结合离线学习和在线互学习对模型进行更新。中国科学技术大学程有龙等将行人检测的先验知识融入到跟踪模型自学习过程中,对被跟踪行人进行动态建模,从而实现在真实监控场合下跟踪具有复杂运动的行人。多传感器信息融合以及行人模型的建立要求较大的计算量和计算参数,很难满足类似车辆主动安全预警等系统实时性要求。本文采用车载单目视觉传感器,利用训练得到的行人识别级联分类器实时获取车辆前方的行人,并对其进行跟踪以记录其运动轨迹,从而为驾驶员和行人的有效预警提供技术参考。

1 基于Adaboost 算法的行人检测

1. 1 Adaboost 算法原理

Adaboost 算法通过训练得到由分类能力一般的弱分类器叠加而成的强分类器,再将若干个强分类器串连成一个级联分类器来遍历图像。为快速实现行人的检测和防撞预警,鉴于Adaboost 算法的特点,本文选择离散Adaboost 算法训练得到识别行人的级联分类器,以快速排除图像中大部分非行人窗口,其结构如图1 所示。其中,各阶段的强分类器训练过程如图2 所示。

关于车载视觉的优点和不足

图1 N 阶级联分类器结构示意

关于车载视觉的优点和不足

图2 离散Adaboost 训练算法

从其训练过程可知,该算法主要通过调整训练样本的权重,强化对错误分类样本的训练,最后通过权重组合级联所有的弱分类器形成强分类器。

1. 2 样本的离线训练与行人的在线检测

本文采用Adaboost 算法训练得到识别行人的级联分类器,通过程序加载分类器实现行人的在线检测,检测流程如图3 所示。

样本的离线训练模块主要是为了获得识别行人的级联分类器,具体过程如下所示。

(1)样本获取及预处理:行人样本通过离线手动分割的车辆前方不同距离、不同走向、不同衣着和尺寸的行人图像,统一缩放为16 × 32 像素的尺寸; 非行人样本是从不含行人的背景图像中分割得到的。为减小训练样本的类内差异,降低光照不同对训练结果的影响,采用直方图均衡化方法对样本进行预处理。本文选择的训练样本共3 060 幅,其中行人样本2 100 幅,非行人样本960 幅;

(2)样本特征提取:选用P. Viola 等提出的类Haar 特征作为行人检测的特征,该特征主要描述图像模式相邻区域的特征差异,可用积分图快速计算矩形区域的特征值;

(3)训练结果:训练得到的级联分类器由20 级强分类器组成,每个强分类器包含了不同个数的弱分类器,每个弱分类器由一个类Haar 特征、阈值和指示不等号方向组成。随着分类器级数的增大,强分类器中所包含弱分类器即类Haar 特征数量也越多。训练得到的前6 级强分类器中所包含的类Haar 特征及其数量见表1 所示。

关于车载视觉的优点和不足

行人在线检测模块是根据训练得到的分类器对待检图像的各子窗口进行判别,检测结果是一系列的目标矩形,显示行人在图像中的位置,本文通过缩放检测子窗口来遍历待检图像,以分割图像中大小未知的行人目标,具体检测过程如下。

(1)获取大小为320 × 240 像素的待检图像,设置最小检测窗口大小为32 × 64 像素,从图像的左下角开始逐行向右每隔一个像素移动检测窗口,直至达到图像边缘为止;

(2)利用训练模块得到的级联分类器按图1所示方法对各待检子窗口进行判决,完成该级检测窗口大小的扫描:如果该待检子窗口能通过所有级联分类器则说明其为行人窗口;如果有任何一个强分类器不能通过就可以判定其为非行人窗口;

(3)按照试验确定的比例系数放大检测子窗口大小,并按上述步骤重新对待检图像进行扫描,获取较大尺寸的行人目标。

2 基于Kalman 滤波的行人跟踪

使用离散Kalman 滤波预测行人在下一时刻可能出现的区域,缩短目标搜索时间,实现行人的快速跟踪定位。行人跟踪结果不但能获得行人的运动轨迹,也能为行人的运动分析提供可靠的数据来源。

2. 1 Kalman 滤波算法原理

Kalman 滤波由动态过程模型和反馈修正环节组成。动态过程模型实现预测功能,反馈修正环节则把增益和残差的乘积作为强制函数作用在模型上。设系统的状态方程和观测方程如下:

关于车载视觉的优点和不足

式中:Xk是时刻k 的n 维状态向量; Zk是时刻k的m 维观测向量; n 阶方阵Фk - 1为状态转移矩阵;m × n 阶矩阵Hk为观测矩阵; Wk - 1、Vk是2 个服从正态分布的零均值高斯白噪声序列,方差阵分别为Qk、Rk 。

Kalman 滤波过程可由预测方程:

关于车载视觉的优点和不足

和滤波递推方程:

表示,其中:

滤波器增益;

为预测误差方差阵;

关于车载视觉的优点和不足

为滤波误差方差阵。

2. 2 行人跟踪

根据Kalman 滤波原理,本文对检测得到的车辆前方行人质心位置和行人外接矩形的高度与宽度进行跟踪。在每帧图像中,行人的状态可以用其质心的位置、位置变化率和外界矩形框的大小来表示。假设(xt,yt)代表行人区域质心点在第t 帧图像的像素位置;(Δxt,Δyt)分别代表质心的变化;(ht,wt)是包围行人外接矩形的高度和宽度;(Δht,Δwt)是高度和宽度的变化。因此,在第t 帧图像中行人的状态向量可以表示为:

由于行人的运动速度较慢,相邻2 帧图像之间的时间间隔较短,可假设行人在单位时间间隔内做匀速运动,状态转移矩阵可以表示如下:

关于车载视觉的优点和不足

为了观测道路区域各个状态变量,取观测向量Zt = (xt,yt,ht,wt)T,选取系统测量矩阵为:

关于车载视觉的优点和不足

为应用Kalman 滤波跟踪车辆前方行人,必须确定状态变量和误差方差矩阵的初始值。本文在连续2 帧图像成功实现行人的识别定位后开始进行基于Kalman 滤波跟踪。假设检测到行人的图像是第t 帧和t + 1 帧,初始状态向量X0可表示为:

关于车载视觉的优点和不足

此外,还需要定义相应的协方差矩阵P0 . 由于Pt随着获取更多的图像反复更新,为此可以给它一个较大的初值。假设预测位置在x 和y 方向上离真实位置具有±10 个像素误差,在x 和y 方向上速度离真实速度有±5 个像素误差。由于行人腿部的运动,使得行人外界矩形的宽度要比高度有较大的变化,所以假设外接矩形窗口的高度与实际行人矩形窗口的高度误差有±5 个像素,高度的变化率有±3 个像素误差;宽度的误差为±10 个像素,宽度的变化率有±5 个像素误差。由此,误差协方差矩阵P0可定义为:

关于车载视觉的优点和不足

除了X0和P0,还需要估计系统状态方程和测量方程的误差协方差矩阵Q 和R。通过观察,可认为系统状态噪声如下:在x 和y 方向上系统定位误差的标准偏差是5 个像素,由此进一步认为速度的标准偏差为每帧2 个像素。而行人外界矩形窗口的高度标准偏差为3 个像素,其变化率为1 个像素,行人矩形窗口宽度的标准偏差为5 个像素,其变化率为2 个像素。因此,状态变量噪声协方差矩阵可以表示为:

关于车载视觉的优点和不足

类似地,定义测量方程在x 和y 方向上的标准偏差为3 个像素,高度标准偏差为2 个像素,宽度的标准偏差为3 个像素。因此:

关于车载视觉的优点和不足

利用上述的状态预测和更新方程以及初始条件,可估计每一帧图像状态向量X^k(-)和相应的协方差矩阵Pk(+ )。协方差矩阵Pk(+ )表示预测下一帧检测行人矩形窗口位置的不确定范围,Pk(+ )越大,估计值越不稳定,搜索区域也就越大,此时,自动调整搜索区域[17].

3 试验及分析

行人检测与跟踪识别流程如下:

(1)按照图3 所示的在线检测模块分析CCD采集的序列图像中是否存在行人,并记录行人目标矩形的相关信息;

(2)如果在序列图像中连续2 帧检测到行人,则启动行人跟踪程序,并用检测结果更新Kalman滤波器,使其能预测下一帧中行人可能存在的区域;

(3)对预测区域按照以下策略进行修正:以行人质心位置的估计值作为中心,将预测得出的行人矩形的高度和宽度各放大1. 5 倍,建立行人搜索的感兴趣区域,在新的感兴趣区域中用级联分类器进行目标检测,然后将检测到的行人质心和矩形宽度与高度作为下一步预测的初始值;

表2 行人检测与跟踪试验结果统计

关于车载视觉的优点和不足

图4 是车辆由静止到运动状态下对前方1 个行人的跟踪结果

行人在车辆静止时背对着车辆向前方行走,行走到一定位置之后等候车辆起动,待车辆向前行驶一段距离后,行人继续向前运动,并伴有横穿道路等动作。从图5 的跟踪曲线可以看出,识别行人的外接矩形宽度变化比较显着,这符合实际情况,由于行人行走时腿部跨度造成封闭矩形宽度变化明显; 由于行人相对于本车的距离变化是连续的,使得行人外接矩形的高度变化比较连续。

关于车载视觉的优点和不足

试验表明,光照条件不同会对行人的识别与跟踪结果产生一定影响,尤其当光照较强时,行人某些部位与地面或背景融为一体,灰度差值很小,造成行人定位不精确或者识别失效,如图6 所示。

关于车载视觉的优点和不足

4 结束语

本文提出一种基于Adaboost 算法的行人检测方法,根据行人运动速度慢的特点,提出利用Kalman 滤波对行人外接矩形的中心及其宽度和高度进行预测,建立动态可变的行人搜索感兴趣区域,使每帧图像处理的平均耗时由80 ms 左右降至55 ms,从而满足实时性要求。试验表明,本文方法能够识别车辆前方静止和运动的行人,检测率达到约88%。

行人检测技术是汽车安全辅助驾驶研究领域的重要组成部分,下一步需要在行人检测的基础上,分析其运动状态以及本车对其构成的危险程度。在车辆与行人可能发生碰撞时,及时向驾驶员发出警示信息,当驾驶员没有采取有效避碰措施时,系统启动减速或紧急制动等操作,有效保障行人的安全。

试验表明,本文研究工作还存在一定的不足,考虑因素还不全面,受光照条件的影响较。下一步拟采取CCD 光圈自动调节装置来改善白天强光照条件或者暗光照条件的成像质量,并研究如何提取有效表征和区分行人目标的特征、增加训练样本或者改进训练方法。同时,结合红外传感器研究傍晚或夜间等条件下的行人检测。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 主动安全系统

    关注

    1

    文章

    10

    浏览量

    7095
  • 车载视觉
    +关注

    关注

    0

    文章

    14

    浏览量

    8666
  • 行人检测
    +关注

    关注

    0

    文章

    17

    浏览量

    3443
  • 被动安全
    +关注

    关注

    0

    文章

    5

    浏览量

    3581
收藏 人收藏

    评论

    相关推荐

    车载雷达和ADAS视觉方案,详尽系统硬件设计与仿真

    。第六章主要对整个系统链路指标进行了分析,其中包括接受灵敏度和发射功率等,进一步说明了 77GHz 车载雷达系统的可行性,并对射频前端电路进行了加工和测试,为后续工作积累经验。ADAS视觉方案及11家创业
    发表于 06-04 15:15

    与以往的压缩标准相比,JPEG2000标准有什么优点不足之处?

    与以往的压缩标准相比,JPEG2000标准有什么优点?与以往的压缩标准相比,JPEG2000标准有什不足之处?
    发表于 04-06 08:57

    关于车载GPS定位监控系统的分析与研究

    关于车载GPS定位监控系统的分析与研究
    发表于 05-14 06:48

    深圳CCD视觉检测技术在测量时有哪些优点

    系统,被测物体通过物镜成像在CCD目标表面上,而信号则由物镜输出,适当地处理CCD,提取测量对象的几何信息,结合光学系统的变换特性,最后计算出测量尺寸。那么深圳CCD视觉检测技术在测量时有哪些优点?相信
    发表于 08-31 15:03

    四元数数控:深圳机器视觉相比人类视觉有什么优势及不足

    ,受硬件条件的制约,现在一般的图像收集体系对颜色的分辩才能较差,但具有可量化的优点。机器视觉的不断地开展,运用现代先进的操控技能,结合工业镜头,对物体的成像质量和检测规范都有了很大的提升。那么深圳机器
    发表于 12-02 15:28

    基于车载视觉的行人检测与跟踪方法

    为提高城市交通环境下车辆主动安全性,保障行人安全,提出了基于车载视觉传感器的行人保护方法。利用Adaboost 算法实现行人的快速检测,结合Kalman 滤波原理跟踪行人,以获取其运行
    发表于 03-29 17:46 2968次阅读
    基于<b class='flag-5'>车载</b><b class='flag-5'>视觉</b>的行人检测与跟踪方法

    超导材料的分类_超导材料的优点不足

    本文首先介绍了超导材料的概念和特性,然后对超导材料进行了简单的分类,最后分析了超导材料的优点不足
    发表于 08-01 09:13 2.8w次阅读

    关于快充的优点不足介绍

    再看看大名鼎鼎的USB组织,USB推广小组早在2012年7月份就制定了USB PD 充电协议,全称“USB Power Delivery Specification”。USBPD根据可供给的电力设定了10W、18W、36W、60W、100W五级规格,电压定义四挡(5V, 9V, 15V和20V)分别适应不同功率等级。
    的头像 发表于 10-11 15:40 5225次阅读

    鸿蒙系统的优点不足

    鸿蒙系统具备哪些优点不足
    的头像 发表于 06-03 16:23 2.3w次阅读

    鸿蒙系统的优点不足 华为鸿蒙系统优势在哪里

    华为鸿蒙系统已经正式发布,很多人都想试一试鸿蒙系统怎么样,但是又不确定该不该升级华为鸿蒙系统,那么鸿蒙系统的优点不足有哪些呢?大家了解鸿蒙系统的优点不足后再决定要不要升级吧!
    的头像 发表于 06-08 10:47 1.4w次阅读

    关于车载信息系统方面的设计

    关于车载信息系统方面的设计方法介绍。
    发表于 06-21 11:31 20次下载

    RF信号链应用中,关于差分电路的4大优点

    RF信号链应用中,关于差分电路的4大优点
    的头像 发表于 10-31 17:04 271次阅读
    RF信号链应用中,<b class='flag-5'>关于</b>差分电路的4大<b class='flag-5'>优点</b>!

    视觉跟踪焊接机器人的优点有哪些

      焊接是一项关键的制造工艺,广泛应用于汽车制造、航空航天、建筑和许多其他行业。随着技术的不断发展,焊接过程也变得越来越自动化和精密化。视觉跟踪焊接机器人是一项创新的技术,它结合了计算机视觉和自动化技术,为焊接工艺带来了许多优点
    的头像 发表于 09-28 14:35 294次阅读

    如何解决车载部品测试过程中峰值电流不足的问题?

    如何解决车载部品测试过程中峰值电流不足的问题? 随着汽车电子系统的不断发展和普及,车载部品的测试过程变得更加复杂和严峻。其中一个常见的问题是峰值电流不足。峰值电流
    的头像 发表于 11-23 10:33 208次阅读

    车载UPS电源的应用,车载式UPS与普通UPS相比有哪些优点

    车载UPS电源的应用,车载式UPS与普通UPS相比有哪些优点车载UPS电源的应用: 车载UPS电源是一种可以装载在车辆上的不间断电源系统
    的头像 发表于 01-10 10:30 578次阅读