双目视觉和激光传感器对目标物体的三维重建技术概述总结

双目视觉和激光传感器对目标物体的三维重建，我们对该技术工作进行概述总结，读懂这篇文章，应该就了解其中技术门道。

（一）背景和研究意义

在现代工业中，传统的测量设备如三坐标测量机、卡尺、千分尺等， 因测量速度慢、效率低，已不能适应现代制造技术发展的需要。而计算机视觉检测技术以其非接触、快速、高精度、自动化程度高等诸多优点，在工业生产中得到了越来越广泛的应用。已有的方法包括基于单摄像头结合结构光的方法、双目视觉方法、投影仪配合摄像机方法等。其中双目视觉因其结构灵活、安装方便、成本低而被广泛采用。

双目视觉测量要解决的问题是如何通过两维CCD图像恢复出被测量的三维信息， 一般由以下两个互逆的步骤组成：①根据三维空间信息及两维图像信息标定系统内外部参数；②根据摄像机参数标定结果及获得的两维图像信息，进行三维测量、三维重建。目前的视觉测量一般是遵循先对摄像系统进行标定， 然后利用标定的参数进行视觉测量与三维重建这一基本思想进行的。在实际应用中会遇到诸如标定参数变化，照明视场噪声， 被测表面光特性的影响等问题，使其测量精度难以满足工业检验与测量的要求。

其中线结构激光扫描技术具有非接触式、光条图像易于处理、测速快、成本低、操作方便灵活等特点，在视觉测量、工艺检测等领域具有广阔的应用前景。该技术中对系统的标定是测量技术实现的关键环节，目前，根据线结构光传感系统的测量模型，提出了许多标定方法，如三维立体靶标标定法，齿形靶标定法以及拉丝标定法等。这些标定方法都要求靶标具有很高的精度，成本比较高，而且标定过程繁琐；目前操作简单、低成本的标定方法成为研究热点。摄像机标定与立体匹配是双目立体视觉系统中最重要也是最困难的问题。随着摄影测量和计算机视觉理论的发展，许多学者对摄像机标定技术进行了深入研究，现已发展的比较成熟；也有许多学者对立体匹配进行了大量的研究。提出了一种基于双目立体视觉的激光三维测量技术，采用了张正友平面模板标定法，系统标定不需昂贵的精制标定块；同时，利用标定结果对图像进行校正，并结合线结构激光条纹进行匹配点搜索，大大降低了双目立体视觉中立体匹配的难度。

（二）国内外研究现状和发展趋势

三维物体的距离感知是计算机视觉的主要研究任务。目前，获取距离信息的方法和技术很多。根据测量原理的不同，三维测量的方法可以分为光学测量、超声波测量以及电磁测量等。光学测量按照其测量过程所采用的照明方式不同，又可以分为主动测量和被动测量。主动测量需要专门的光源装置照明目标物体，根据被照物体表面反射特性获取目标的三维信息。具有代表性的主动测距方法有结构光法、三角测量法等，比如常用的激光扫描式的视觉系统就是基于三角测量原理。被动视觉则不需要附加光源，利用场景在自然光照下的二维图像来重建物体的三维信息。

激光结构光由于波长单一，抗电磁干扰能力强，检测精度高等优点，广泛应用于物体检测与跟踪。作为主动视觉测量技术，其工作原理是：将激光发射器产生的激光投射到物体表面，CCD传感器接收与光轴成一定角度的经由物体表面形状形成的反射光，通过三角测量原理，可以得到物体表面的三维坐标。如德国Scout公司开发的一种多条纹激光传感器，能同时实现焊接高度的对中跟踪以及姿态控制；加拿大的赛融公司专注于激光视觉系统研发，生产的多功能激光传感器系统，把定位、跟踪、装备检测以及自适应参数控制集于一体，能够实现高速的物体跟踪，是结构光传感器先进水平的代表。基于结构光双目立体视觉的路径规划原理是：将激光双目视觉传感器安装在机器人的末端，逐点测量物体中心坐标，建立测量轨迹的数据库作为运动路径。眼在手上的结构光双目立体视觉测量系统由安装在机器人末端的激光器、两台CCD摄像机构成测量系统。激光器发出的光束在焊缝中形成条纹。两台摄像机同步采集该条纹，结合摄像机标定参数对激光条纹的特征点进行处理获得三维空间坐标。张广军、贺俊吉等人提出基于神经网络的结构光立体视觉测量模型，该模型应用神经网络的泛化能力，消除了视觉模型误差、光学误差因素对测量系统的测量精度影响。王国荣、肖心远等人基于激光结构光视觉系统获取激光图像，在二维的曲线焊缝跟踪中获得良好效果。徐德等人对基于位置的机器人视觉伺服控制进行了研究，将结构光视觉系统配置在机器人末端执行器上，构成手眼系统，实现了机器人位置姿态和图像采集的同步，完成测量物体的自动识别和实时跟踪。

20世纪60年代，美国麻省理工学院的Robert把二维图像分析推广到三维景物，标志着立体视觉技术诞生。随后，70年代末美国麻省理工学院的Marr教授提出来的计算机视觉理论框架则奠定了立体视觉的发展基础。随着双目立体视觉技术的不断发展和检测精度的不断提高，双目立体视觉被广泛应用。例如在生产中，对工业生产线的结构、照明等因素进行严格的控制，应用双目立体视觉技术可以进行工业生产和装配线的检测，装配零件的识别与定位、产品外形轮廓

检验、表面缺陷检验等；两个摄像机同步获取某一时刻场景中某一视点的两幅图像，组成图像序列对，应用双目视觉技术恢复场景的三维信息，并利用场景的三维信息识别特定目标、判断障碍物、道路规划等，实现与周围环境的自主交互。日本东京大学为机器人加载双目立体视觉系统实现路径规划和障碍物探测。该机器人动态导航系统首先根据摄像机拍摄的图像识别出障碍物和地面，然后应用双目视觉测量原理把二维平面坐标系转换到世界坐标系，这样就形成了机器人周围环境地图，据此地图进行实时机器人路径规划和障碍物检测。北京航空航天大学对基于双目视觉方法原理的坐标测量机的测距误差进行了较为系统的分析，主要对摄像机坐标系与坐标测量机坐标系之间的不正交所引起的测距误差、坐标测量机本身的机构误差引起的测距误差以及摄像机成像面上像元的量化误差引起的测距误差三种误差因素进行了讨论。中国空气动力研究中心的何海、汤春林等人采用双目立体视觉系统，通过对风洞试验模型上两个以上的圆或三角锥特征点提取，实现了模型侧滑角的空间非接触实时精确测量。

（三）应用

双目立体视觉因为有快速，准确，灵活等特点，被广泛的应用于医疗，工业，人工智能等多个领域，尤其当工作的环境恶劣、条件艰苦（例如：高山地区的电力线监测，建筑施工工地的墙面抹灰，外太空导航等），或者要求长时间、稳定性强的工作（国防安全系统，医学成像等），双目立体视觉系统显现出来了无法比拟的优越性。双目立体视觉应用的部分领域包括：

1、高山地区的电力线监测

由于高压电力线长期处于高负载工作条件下，因此需要定期检测其电力线表面是否出现破损，结冰等情况，常规的监测包括人力监测和飞机高空监测，然而在环境恶劣的情况下，人力监测危险大、效率低。利用搭载双目立体视觉系统的无人机能够很好的完成任务，不仅能够快速实时的监测出电力线表面平整度，同时解决了人力工作和飞机高空检测带来的高成本，高危险，低效率的问题。

2、房屋建造抹墙机器人

常规房屋建造的过程中，对于墙面的水泥通常采用人力抹墙的方式来解决，这样做的缺点是，墙面抹的不均匀、厚度不一，无法达到工业级的要求，同时人力成本过高，速度较慢。发明一款抹墙机器人，该机器人能够自动抹墙，同时采用双目视觉系统监测墙面的平整度以及厚度，对于墙面抹的不平整的区域，及时采取措施，利用机器视觉分析检测代替人工检测，准确度得到了极大的提高，同时降低了人力成本。

3、卫星遥感监测图像分析

高空遥感监测图片通常是有三种方式：航空卫星图片、气象卫星图片和地质地形卫星图片。对于卫星图片，如果仅仅只是采取人眼分析根本无法取得准确的结果，利用双目立体视觉系统，能够快速准确的计算出距离信息，从而重构出三维形状，将图片还原成为真实的立体场景，帮助相关工作者的后续分析工作。

4、医学成像分析

医学工作者通常需要对相关的图像进行定量分析以判断病情，常规的方法无法准确快速的做到这一点，利用双目立体视觉，可以定量的检测出影像部分的深度信息，从而能够用准确的数值来辅助判断病情。

5、安全检测系统

公安机关经常会通过犯罪分子留下的监控照片来对犯罪分子的容貌进行估计并搜索，然而普通的监控照片通常只是平面的照片，对于犯罪分子的面部全貌并不能够准确的估计。采用双目立体视觉，可以通过左右监控图片恢复出犯罪分子的面部全貌，从而进行准确的人物面貌搜索。

6、其他

双目立体视觉越来越多的被应用在我们的平常生活当中，例如，虚拟现实构造空间配合虚拟现实技术，双目立体视觉可以恢复出难以示众的物品，例如，文物，墨宝等高价值易破损的物品。从而可以建造出虚拟文化馆。

（四）研究内容

双目和激光传感器构成的测量系统对被测物体进行三维重建，测量系统由2个摄像机和激光投射器构成，将激光投射到被测物体表面。摄像机采集带有激光的被测图像，提取光条中心，再根据双目立体视觉参数，利用三角测量法原理在立体视觉模型下获取被测物特征点的三维坐标。

整个物体的三维重建

为实现工业中汽车、飞机、骨骼和模具外形等物体的三维重建，介绍了基于激光线扫描的双目立体视觉三维测量系统。2个摄像机同时摄取一个扫描激光光条图像，经过图像预处理、光条特征点提取、图像匹配，利用视差计算出光条上所有点的坐标值，即光条处物体的三维信息。通过坐标系之间的转换把各光条统一到同一世界坐标系下，得到整个物体的三维重建。三维激光扫描测量系统如下图所示，硬件部分包括双CCD摄像机，半导体激光器，电控平移台以及步进电机控制箱。

测量系统结构组成

系统中用到精密电控平移台，它通过步进电机驱动，实现位移调整自动化。根据平移台控制箱设定的位移量和速度，可以控制滑块在导轨上滑动的距离及速度，即控制物体扫描的范围及密度。双摄像机与半导体激光器组成三维视觉传感器。控制箱控制步进电机使平移台在导轨上滑动，带动三维传感器系统对物体扫描拍摄，就可以三维重建出整个物体的三维点云数据。