基于图像传感器的汽车全景环视系统

　1.1概述
　　汽车是现代社会最为有效、使用最为广泛的交通工具之一，是维持人们正常生活工作所不可或缺的一部分。然而，汽车的大量涌现，日益频繁的交通堵塞和交通事故，严重影响到人们日常生活的方便和工作的效率，甚至危害到人们的生命安全。研究分析表明，每个交通事故均不同程度地涉及到驾驶员、汽车和道路环境因素，而与驾驶员因素有关的事故约占九成，驾驶员的人为失误已经被公认为是交通事故的主要原因。如何减少“人”在交通系统中发挥的不确定因素，已经成为汽车安全领域研究的重点。通过先进的技术手段增强驾驶员感知能力，甚至替代部分驾驶任务，为车辆提供日益完善的安全预警和辅助驾驶功能，逐步实现车辆的智能化，并最终走向完全无人驾驶的智能车辆，必将是解决交通安全问题的根本途径。
　　随着图像处理和计算机视觉的快速发展，越来越多的先进技术被应用到汽车电子领域，传统的基于图像的辅助驾驶只在汽车车尾安装倒车摄像头，只能覆盖汽车周围的有限区域，而车两侧和前方的视觉盲区无疑增加了安全驾驶的隐患。
　　我们具有自主知识产权的车载全景视觉技术是将分布安装于车辆周边的图像传感器捕捉的图像进行合成和投影，在人机界面虚拟一个单一的全景图像，并且这个图像时无盲区的，能够360°的观察车身周边的状况。同时，这个图像经过合成和投影，形成符合人的思维习惯的全景图像。
　　1.2研究现状
　　车载传感器类型如表1所示，在这其中，全景视觉传感器技术受到越来越多的关注，并成为车载电子装置未来发展的主要方向。属于视觉感知技术之一的全景视觉传感器技术是智能感知交通环境重要的技术手段，它可以全方位、全天候、全时段地监视、分析和记录车内外的情况，为报警系统、控制系统和安全避让系统提供最直观的状态信息，也为车辆和乘员的安全保护提供了事前告之、过程记录和事后重现的技术手段。特别是在复杂的道路环境下，通过全面的视觉技术，可以使驾驶者的观察得以延伸和扩大，真正做到“眼观六路”，掌控全局。
　　车载全景视觉传感器分为两种，即把拍摄的图像提供给驾驶者观看的“显示用视觉传感器”，以及把拍摄的图像传送至计算机进行处理的“处理用视觉传感器”。 车载全景视觉传感器今后的发展趋势有如下几个方面：
　　（1）处理用视觉传感器的迅速普及；
　　（2）处理用视觉传感器的多功能化；
　　（3）显示用视觉传感器和处理用视觉传感器的融合。
　　表1：各种行驶传感技术的比较
　　行驶传感技术技术特点缺点探测范围
　　超声波成本低、探测精确。范围小、受雨雪影响。《5m
　　脉冲雷达测量距离远、精确。波束窄，只适合前后盲区探测。》100m
　　多普勒雷达测量距离远、测量精确、可多天线矩阵配合使用。系统复杂、成本高。》100m
　　射频标识互相通知位置、成本低，系统可靠。必须为每个设备、人装备发射标识，使用不方便。》100m
　　全景系统360度全景、直观（非量化信息）有效性高、有良好的人机界面、便于再现重放。》100m
　　在BMW和NISSAN的高端车型上，已经开始使用多个摄像头来辅助驾驶员的操作和泊车，在VOLVO的XC60，XC90等概念车型上，已经开始使用图像识别技术来辅助驾驶人员的并线和巡航操作。在LEXUS的部分概念车型上，也有使用单目摄像头来进行简单的自动泊车的演示系统。
　　根据第三方的市场研究公司 Techno Systems Research （TSR） 的研究指出，在 2008 年时约有 20% 的新车配备整合式摄影机，而到了 2012 年时预计将增加到接近 70%，并且会有很大比例新车安装至少2个以上摄像机，车用视频装置即将成为各类车辆的主流配置。
　　表2：已采用视觉感知技术的汽车领域应用比较
　　形态厂商功能技术含量备注
　　低端产品倒车后视镜众多小品牌后方视频低产品成熟
　　中低端
　　产品倒车可视系统国内的银声、
　　合正等后方视频
　　雷达测距
　　GPS低产品成熟
　　中高端
　　产品倒车可视系统
　　车载多媒体常见于高端车型后方视频（侧方视频）
　　多媒体功能
　　GPS低产品成熟
　　研发类
　　产品夜视和行人检测丰田夜视摄像头提供红外图像，通过红外摄像头头实现行人，动物检测较高研发阶段
　　可视全景系统日产汽车
　　松下电器
　　三洋电机多摄像头实时视频合成无盲区全景俯视图高研发阶段
　　主动驾驶辅助系统富士重工通过双目摄像头主动探测前方行人，车辆，障碍的距离，以摄像头模拟人眼。高研发阶段
　　图像能够提供给使用者最直观高效的辅助信息。人类大脑的模糊思维和判断能力决定了，人随意扫视图像所获得的信息量和信息准确性远远大于费力地观察若干仪表所能得到的信息量和信息准确性，并且图像方式得到的信息更加直观可靠。如表2所示，可以预见在不远的将来，基于全景视觉传感器技术和图像识别技术来实现辅助驾驶和安全功能的系统将广泛应用于各类车辆，进而成为无人驾驶汽车和智能导航系统的关键技术。
　　本设计的最终目标就是要给出基于FPGA技术来构架SOC实现的以全景视觉处理为基础的汽车环视系统。通过4路广角摄像头实时采集数据，并将采集到的4路视频数据进行预处理和配准拼接等一系列处理实现360度的实时全景视觉图像，并通过VGA显示器进行显示。
　　研究方法和技术路线
　　在系统构成方面，系统主要分为三个部分，图像采集、图像处理及显示。图像的采集是使用4路模拟摄像头，通过自行设计的视频采集电路板接入图像，并通过DMA将实时图像数据搬到存储器中。这里采用了NTSC制式的模拟摄像头，摄像头的性能和显示效果一般。我们的研究重点是采用更加高效的算法和设计思路，在目前有限的资源条件下，最大限度的利用资源以达到最佳的设计和显示效果。