视内和视外智能视觉传感器的划分与功能

行人是路面上的高危群体，行人检测成为安全驾驶领域的一个研究热点。基于视觉的行人检测过程分为个连续的步步骤：行人定位、行人识别和行人跟踪。热电堆和红外传感器是一种环境友好型的传感器，是不需要照亮周围环境，就可以被动地完成行人检测任务。

过去的20年里,视觉传感器在智能交通系统中变得越来越重要。一方面，从交通基础设的角度来看，使用基于交通流监视器的视觉技术以及相关的控制策略，可以显著提升现有交通数据收集和道路监控方法的效果。另一方面在视觉传感器的帮助下,现代驾驶人辅助系统可以对危险情况和错误的驾驶行为提出预警，例如偏离车道，忽视交通标志等；如果驾驶人没有做出反应，辅助系统甚至会做出自动控制车辆的举动。现阶段，基于驾驶安全系统的视觉技术已成为下一代交通工具的必要组成部分。

在过去的30年里,基于安全驾驶的视觉技术受到广泛关注，产生了大量研究成果，前景广阔。从功能上看，视觉传感器分为两类，监控车内环境的车内传感器和监控车外环境的车外传感器，如图所示。

视内和视外智能视觉传感器的划分与功能

CMOS/CCD摄像头是智能交通工具中应用最广泛的视觉传感器。正如许多文献中提到的那样,在响应速度、安装、操作、维护，监控范围等方面CMOS/CCD摄像头优于其他许多传感器。但是CMOS/CCD摄像头只有在比较理想的工作环境下才有完美的表现。在实际场景下，树木、云朵的阴影和微弱的光照条件等因素,都会导致难于获取对比度较好的清断图像。

近期，作为摄像头替代品的毫米波段雷达、激光和红外传感器得到了研究人员的积极尝试。这些新型传感器的优势是受天气、光照的干扰小。尽管CMOS/CCD摄像头还难以被完全取代，但新型传感器已经在大量应用场量中取代了传统的摄像头。

这些新型传感器被看作是一般的视觉传感器来进行讨论，我们还将考虑不同视觉传感器的信息融合问题。

智能车辆的基本视觉传感器任务有以下几点：

(1)车外视觉传感器

1)提取车道边界，特别是在车道边界未被清楚地标明和恶劣天气场景下。

2)检测车辆行驶情况，估计它们的位置、速度和加速度。

3)识别相关的交通标志和交通信号灯。

4)测其他交通参与者、障碍，例如行人和大石块。

(2)车内检测传感器

1)监测驾驶人的眼部动作情况，应用于疲劳检测过程。

2)监测驾驶人的手部运动，完成假设行为学习。

3)监测驾驶人、乘客的姿势和头部位置，从面进行精准的气囊保护。

为了了解该领域其他研究人员的成果，本章首先对该研究领域的成果进行了汇总。同时论述了相关的研究工作和存在的问题，并着重讨论了以下两个问题：

① 觉和非视觉传感器的磁合；

② 视觉信息在车内、车间通信过程中的共享问题。

基于视觉信息进行行人识别的优势

行人是路面上的高危群体。欧洲每年因交通事故受伤的行人超过15万人，致死的超过6000人。美国交通事故中有12%及行人。中国在2004年有9217人因交通事故致死,其中三分之一是行人。为了解决这一问题，过去20年里，行人检测成为安全驾驶领域的一个研究热点。

研究人员Gavrila使用分类的思路来进行行人运动检测，该方法基于两个准则：限踪空间的维度(二维或三维)和模型类型（例如空间信息的、统计的和基于板图的）。尽管该方法在智能监控、虚拟现实、运动分析和其他应用中表度良好，但在运动车辆上，其对行人的检测效果大打折扣。研究者Lombardi提出了一种新的分类方法。根据其处理过程是否包含两个步骤，首先将这些方法分为三组：二步法、单步法和“盲”方法。

然后将这些方法分成检测步和识别步骤。检测步骤主要有光流法、背景差分法、阈值法和行人模板法。识别步骤主要有运动分析和利用兴趣点的人体形状分析法。然而，该分类方式并没有考虑使用行人检测方式完成跟踪过程的方法。在下面的内容中，基于视觉的行人检测过程分为个连续的步步骤：行人定位、行人识别和行人跟踪。

使用CCD/CMOS摄像头的行人检测

1.行人定位

检测步骤的目的是找到行人可能出现的区域，然后在这些区域中完成行人识别和跟踪过程。与车辆检测类似，该领域的三种主要方法是基于先验知识的方法、基于立体视觉的方法和基于运动的方法。

许多方法使用了人体的形状信息。这些方法一般不需要时间维度的信息，可以避免背景变化带来的问题。另一方面，由于行人运动过程中身体形状多变，会给这种方法带来极大的计算量。例如，Curio等研究人员首先根据局部图像熵值来获取主动区域，然后进行形状匹配。该方法使用Λ形状来表示多变的腿部形状信息。此外，它们使用逆透视映射来检测短距离障碍物。最后,他们使用DAF( Dynamic Activation Field,DAF)策略来进行下一步的处理，如下图所示。

左图是使用熵信息、轮廓信息和三维信息来得到DAF，然后进行初次行人检测的示例。右图是行人行走模型的典型步态，a-l是行人行走过程的12个阶段。

另一种行人潜在区域的检测方式是使用立体图的方法，例如，有研究者使用基于多变量的判别分析方法来提取三维物体的特征，最终得到区分行人和周围物体的三个有效变量。还有的研究者使用两个车载摄像头成对图像中的位置差别来计算得到主体车辆与某特征点的距离。同时,他们使用梯度方向光流法来检测物体的运动情况。结合立体视觉方法和运动信息方法的优势，他们提出了光流和深度约束法，该方法可以在多种情况下快速完成行人的检测任务。

对于提取兴趣区域而言，行人运动信息至关重要。基于运动信息的行人定位方法的一个优势是可以检测被其他行人部分遗挡的行人。然而，该方法需要分析多帧的信息，这大大增加了运行时间和计算量。同时，该方法不能检测静态的行人，所以该方法常常用于行人识别过程。

2.行人识别

确定行人可能出现的区域后，需要进行行人识别过程，从面去掉错误的区域。近刚的研究分为两类：基于运动的方法和基于人体形状的方法。第一类方法考虑了时间维度的信息，试图检测行人运动的周期性特征。第二类方法没有用图像序列中的特点，而是分析人体形状信息。

运动模式，尤其是步态周期模式是区分行人和其他运动物体的一个重要信息。例如，有的研究者使用最大熵算法来研究行人运动所引发的图像强度变化。他们利用运动过程分解得到的时间频率和空间频率信息，进行模型的匹配过程。也有研究者使用时频分析和带 Harming窗的短时傅里叶变换来得到行走周期的变化信息。还有研究者使用自适应时间延迟神经网络算法从输入的图像序列中提取局部时空特征，跟使用全局特征的方法不同，该方法在低计算量、低存储需求的情况下，可以取得更好的识别别效果。

基于人体形状的识别方法不仅可以识别运动行人，也可以识别静态行人。该类方法的主要困难是光照变化、衣服变化、姿态变化和遮挡情况下的行人识别间题。

据悉，研究者Gavrila使用模板来匹配行人，然后调整这些配区域,最后使用径向基函数对这些区域进行分类。有研究者也使用了基于轮廓信息的四配方法。首先，基于拉普拉斯滤波来检测边沿，进面得到二值边沿图。然后，利用距离变换将边沿图转换为DT图。最后，使用DT图跟模板进行匹配，小于特定阈值的被看作是真正的行人区域。为了减少计算量，有的研究者使用主动搜索法完成后续的图像差分搜索计算过程。有的研究者还指出之前的方法所提取的运动信息主要是摄像头的运动而非行人的运动，所以他们主要在静态图上完成行人识别过程，利用的是行人腿部的信息。有的研究者使用 Adaboost训练算法将一组分类准准确率略高于50%的弱分类器整合成一个准确率接近100%的强分类器。有研究者提出单帧分类算法，将获取的图像分成许多子区域。然后在每个子区域上分别进行分类操作，得到局部的判别结果，最后使用特征向量分类器整合这些局部结果。研究者Bertozzi等人在基于人体形状的方法中引入蚁群优化算法，得到行人存在的潜在区域。

许多单步法也使用了人体形状信息。研究者Papagcorgiou等人使用小波模板定义了物体的形状。小波模板包含了大量对应于不同小波子集不同尺度上的规则区域。不同区域间的关系可以用小波系数来表示和加以限制。虽然不同区域的强度会有较大变化，但其关系却变化不大。 Elein等研究人使用基于小波的特征提取算法和模板匹配方式来检测行人。他们对训练图像分块后使用Haar小波变换提取相关特征，得到特征模板，然后将测试图像的特征向量跟模板进行匹配，得到检测结果。

3.行人跟踪

行人跟踪能够有效评估行人的运动过程，同时预测可能的碰撞情况，从而成为现阶段的一个研究热点。跟踪过程中会综合使用位置、速度、形状和图像序列中的其他特征。卡尔曼滤波、 Condensation算法和动态贝叶斯网络也被用到该任务中。

借助行人的线性形状模型，研究者Philomin等人使用 Condensation器来完成目标的跟踪任务，最终使用准蒙特卡洛方法将其转化为高维问题， Gavrila等人使用特定的（α-β）跟踪器来估计物体的状态参数。跟踪器本身是一个卡尔曼滤波器，其速度固定，带有稳态增益。由于检测过程已经成功解决了物体的形变问题，跟踪器只需要完成定位任务。研究者Bertozzi等人使用卡尔曼滤波器来估计行人位置，计算行人运动，进而实现行人跟踪。

使用红外摄像头的行人检测

尽管大量研究人员使用视觉信息进行行人检测，但该类方法在实际应用中仍然存在许多困难。例如室外场景的复杂多变，行人外形因为服饰、姿态和运动面变化多端。由于车辆处于运动状态，背景场景的变化也不可避免。

为解决这些问题,近期的一些研究在智能车辆系统中使用了热电堆和红外传感器。由于行人比周围背景的温度高，有研究人员使用热电堆传感器来探测视野中的物体。基于同样的原理理，有研究者使用红外传感器进行行人检测。可以从这些二推热图像中分析形态学特征和热特征，进面找到行人。

热电堆和红外传感器的优点是检测过程简便易行。检测率高于传传统的基于视觉的方法。下图形象地说明了利用红外图像从周围环境检出行人的过程。此外，基于红外摄像头的方法似乎是唯一可靠的夜间行人检测方法

立体红外摄像头系统的预处理过程

a)最初的输人图 b)注意力焦点区域

热电堆和红外传感器的另一个优点是不需要照亮周围环境，就可以被动地完成行人检测任务。因此，它们对环境不产生额外的干找,是一种环境友好型的传感器。红外摄像头的唯一缺点是其成本较高，这限制了它的应用范围。今后，如何使用低成本的车载红外摄像头完成行人检测将成为一个热点问题。