机器视觉三维成像技术简介（二）

机器视觉三维成像技术简介（二）

结构光

结构光（Structured Light），利用镭射二极管（Laser Diode，LD）或数字光源处理器（Digital Light Processor，DLP）将预先设计的具有特殊结构的图案（比如离散光斑、条纹光、编码结构光等）投影在被测物上，使用另一个相机观察经由物体不同高度位置反射回来的图案变形情况，如果被测物表面是一个平面，则所观察的结构光图案与投影类似，没有变形，只是根据距离远近发生一定的尺度变化。但是如果被测物表面是不平的，有高低差的，则所观察到的结构光图案就会随着被测物的高度变化而发生不同程度的变形，根据这些变形就能计算被测物的位置和深度信息。

结构光成像一般分为三步（条纹投影技术为例）：

第一步，条纹产生：通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用 CCD 相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。这里使用的是四步移相法， 因此这里产生四幅相位差 pi/2 的条纹。然后将该四幅条纹分时投影到被测物（面具）上，采集到如下图左边的图（当然也是四幅），同时要采集四幅参考面的条纹（未被调制，同样四幅）。

第二步，相位恢复：由采集到的四幅受调制条纹图计算出被调制相位，这里得到的相位图是截断相位图，因为四 步移相算法得到的结果是由反正切函数计算所得，因而被限制在[-pi,pi]之间，也就是说每当其值超过该范围，其又会重新开始。

第三步，3D 重构：上述二者相减得到相位差，该相位差则表征了被测物相对参考面的高度信息，再代入相位与高度转化公式（其中相应参数经过标定），得到 3D 结构的图像，具体的 3D 重构十分依赖算法的支持，具体重构过程需 要的算法也十分复杂。

结构光三维成像技术目前是机器人三维视觉感知的主要方式，结构光成像系统是由若干个投影仪和相机组成，常用的结构形式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等典型结构形式。

结构光和双目立体视觉都是基于三角测量原理，要求相机和投影仪之间或双目视觉中两个相机之间必须间隔一定的距离，并且存在一定的夹角a（一般>15°）才能实现测量，都存在体积较大，如果被测物表面陡峭或有台阶容易产生遮挡的缺点。

基于结构光和三维物体识别技术开发的机器人三维视觉引导系统，可对较大深度测量范围内散乱堆放的零件进行全自由的定位和抓取。相比传统的二维视觉定位方式只能对固定深度零件进行识别且只能获取零件的部分自由度的位置信息，具有更高的应用柔性和更大的检测范围。可为机床上下料、零件分拣、码垛堆叠等工业问题提供有效的自动化解决方案。

结构光技术和激光三角有一些类似之处，但系统更加复杂获取的信息也更丰富，可以生成更多细节的点云。结构光相机更适合被测物静止的场景，激光三角相机则更适合被测物运动的状态，尤其是传送带或传输线上。在环境光复杂或者阳光直射的场景，大功率激光三角相机更具有优势，激光器通过投射一个波长非常窄的光，图像传感器可以通过窄带滤波器滤除环境光干扰。结构光相机大多使用LED光源，没有安全风险。激光三角相机则使用激光，对眼睛有潜在的安全风险。对于亚微米应用场景，结构光相机更有优势，激光三角相机由于存在激光散斑而达不到亚微米的精度。结构光相机是全视场一次即可完成三维成像，而不像激光三角相机那样一次只可以获取被测物断面的深度信息。实际应用中，结构光相机是将精确校准的白色或蓝色且有特殊结构的光投影到被测物上，常见的结构有平行的线、条纹或者网格。当结构光照射在被测物表面上，光的结构会随着被测物表面高低及曲率的变化而变化。以条纹形结构光为例，条纹在被测物表面会变厚或变薄，意味着这些地方的采样点与相机的距离相应地较近或较远，特殊设计的模式识别和三维重建算法会根据信息完成三维成像。一些结构光相机的投影仪同时具有RGB相机的作用可以获取被测物的纹理和色彩信息。

昊艾智能代理的ZIVID结构光相机采用单投影仪单相机的设计，与主动双目立体视觉相似，但是少了一个相机。通过主动投射结构化光源的形式人为给目标测量物体添加了易于识别的特征点。由于结构预先已知且不是随机的，特征提取的运算量更低，同时也避免了相关性计算问题。单投影仪单相机的结构光相机和主动双目立体视觉相机一样，同样面临着块平均、分辨率和精度的问题。ZIVID结构光相机为了克服这些问题通过引入同时具有时域和空间域编码的结构光。但是结构光相机和激光三角相机一样，对于镜面、深色或吸收率大的物体，依然会产生数据丢失和检测错误。下面是ZIVID结构光相机和双目立体视觉相机所获取的点云对比：

小米在小米8透明探索版上首发了安卓阵营的3D结构光技术，OPPO随后在Find X中也用上了3D结构光，Vivo首发了ToF 3D超感应技术，30万个红外测量点。ToF有效深度信息量是结构光10倍的由来，除了信息量更高之外，ToF的工作距离也要比结构光更高，使用距离可达3米，达到了后者的三倍。

激光三角

激光三角（Laser Triangulation）测量法是将相机镜头和激光成一定的角度，激光光源投射到被测物的表面，生成物体表面的轮廓线，若要获取被测物的三维图像，物体和相机必须要发生相对运动以生成多条物体表面轮廓线，最后相机将这些轮廓线组成一副三维图像。该方法通过测量一条线的几何偏移，该线的值与物体的高度有关。它是基于对象扫描的一维成像技术。根据激光发射器与被测物的距离，镭射点会出现在相机视场的不同位置。由镭射点、相机和激光发射器形成三角形光路，因此该技术常被称为三角测量。该技术对结构化或复杂的表面敏感，在被测物过高时一些激光线会因为遮挡而不能反射到相机。

按入射光束与被测物体表面法线的角度关系，激光三角测量法可分为斜射式和直射式两种。直射式是入射光束与被测物体表面法线的夹角为0。斜射式是入射光束与被测物体表面法线的夹角为a>0。常见的直射式和斜射式布置方式具体如下图所示：

直射式

斜射式

下面以直射式为例介绍激光三角测量法的原理。

上图中红色、绿色和蓝色虚线表示不同距离反射光将投射到相机成像面的不同位置，根据这些位置计算传感器与被测物表面的距离。垂直距离d的变化将导致相机成像位置d'的变化。可以看出这种技术的测量范围和精度相互制约。精度越高意味着垂直距离的变化反映在相机成像面上位移变化越小。这样一来，目标位置的变化范围必然是有限的。随着目标深度的增加，很快就会超过相机成像传感器的物理尺寸。在光学系统的具体设计中，需要根据测量需求在测量范围和测量精度上做权衡，以实现最佳效果。

以激光三角测量法为基础的相机主要由镭射二极管（Laser Diode，LD）、会聚镜头、接收镜头、图像传感器和一个信号处理单元组成。其光路具体如下图所示：

x表示被测物表面相对于初始参考平面的偏移

x'表示被测物在图像传感器上的偏移

a表示激光束与接收镜头光轴的夹角

β表示接收镜头光轴与成像传感器表面的夹角

L表示被测物表面与接收镜头的距离

L'表示接收镜头与图像传感器所成像的距离

则利用相似三角形原理，可得到：

激光三角测量法具有非常高的分辨率和测量精度，其分辨率可扩展到毫米及微米级别，但在实际应用中受相机和激光光源横向距离的限制，并且测量时间较长，仅适用于较短距离的测量。对于直射式激光三角相机虽然增大相机光轴和激光平面之间的夹角，可以提高 z 轴分辨率，但随着夹角 θ 的增大，光学遮挡现象也会愈发明显尤其是物体表面有凹凸起伏时，这种结构均存在一定的遮挡：激光线照不到的区域称为阴影，相机接收不着反射光线的区域称为盲区。

如果被测物体的表面不均匀，则除了光学遮挡外，还有可能出现多重反射。

如下图，光线1是入射光在物体表面发生的第一次反射，光线2是入射光在物体表面发生的第二次反射，这两条光线在探测器上的成像位置不同。

如下图，红色入射光线在物体表面发生的两次次反射，这两次光线在探测器上的成像位置相同。

Zivid 2+ M60

昊艾智能代理的Zivid2+ M60是高分辨率机器人固定式3D+2D相机，用于对分辨率、准确性和细节要求极高的应用。该款相机是Zivid3D相机中可以捕获最清晰、最密集点云的产品，每平方厘米可达5000个点，尺寸准确度大于99.8%，一切物体都可以以其真实形式展现。对于检测质量和精细灵巧的装配任务，它可以轻松地观察到每个细节、特征以及缺陷。仅100毫秒的时间内捕捉到最令人惊叹的点云。

关于昊艾智能

昊艾智能是德国 ZIVID 在中国 3D 视觉领域的专业代理商。

昊艾智能专注于提供3D机器视觉整体解决方案，助力中国智能制造水平的提升与产业升级！

目前，我们拥有一批高素质的3D机器视觉应用工程师与算法研发工程师，具有完备的机器视觉项目评估能力与底层核心算法开发能力。我们的3D机器视觉整体解决方案在动力电池、汽车行业、消费电子、白色家电、轨交检测等多个领域成功落地实施，积累了丰富的3D机器视觉项目应用与软件开发经验！

昊艾智能主营产品：3D机器视觉整体解决方案，包括结构光3D相机、激光线扫相机、SICK 3D线激光轮廓传感器、TOF相机，高精度3D测量系统、视觉引导定位系统、无序抓取系统等，可实现平面度、高度差、位置度测量、凹凸缺陷检测、胶路检测、视觉引导机器人打磨、视觉引导机器人工件定位装配、工件无序抓取等功能。

审核编辑 黄宇