浅谈计算机视觉的无人车感知

1、传感器

无人车视觉传感器：超声波雷达（倒车）、毫米波雷达、LiDAR与摄像头。

激光雷达精度，速度高（厘米级），成本高；毫米波雷达可适应恶劣天气

2、KITTI数据集

（1）Stereo/Optical Flow数据集：两个摄像头

（2）视觉里程测量数据集

（3）三维物体检测数据集

（4）物体追踪数据集

（5）路面与车道检测数据集

3、计算机视觉能解决的问题：

（1）物体的识别与跟踪：识别（深度学习）：行人、行驶空间、地标、红绿灯、其他车辆；跟踪：Optical Flow运动预测算法

（2）车辆的定位（基于拓扑与地标的算法，基于几何的视觉里程计算法）

4、Optical Flow和立体视觉

Optical Flow：图片序列或视频中像素级的密集对应关系，例如在每个像素上估算一个二维的偏移矢量，得到的Optical Flow以二维的矢量场表示。---基于单个摄像头在连续时刻的图像。

立体视觉：从两个或更多的视觉得到的图像中建立对应关系。---基于多个摄像头在同一时刻的图片。

进展：Siamese神经网络

5、物体的识别与追踪

实时地识别与追踪多个运动目标（车辆，行人）。

基于深度学习的物体识别：输出有噪声，如物体识别不稳定，物体被遮挡，物体短暂误识别。

进展：基于马尔科夫决策过程（MDP）的MOT算法：基于有噪声的识别结果获得鲁棒的物体运动轨迹。

6、视觉里程计算法

（1）基于拓扑与地标的算法：把所有的地标组成一个拓扑图，当无人车监测到某个地标时，可以大致推断自身的位置。

条件：建立精准的拓扑图，比如将每个路口的标志物做出地标。

（2）基于几何的视觉里程计算法：无需预先建立精准的拓扑图，分成单目和双目两种。

单目：无法推算出观察到的物体的大小，需要假设物体的初步大小，或结合其他传感器（如陀螺仪）进行准确的定位。

双目：通过左右图的三角测量法计算出特征点的深度，然后从深度信息推算出物体的大小。

编辑：jq