偏振为何能够实现三维成像？偏振三维成像的原理是什么

随着机器视觉、VR/AR、元宇宙技术的发展，三维成像与显示越来越受到重视。目前，三维成像的技术有很多，从诺贝尔物理奖获得者Gabor提出的全息成像，到双目立体视觉、结构光三维成像、激光雷达三维成像和偏振三维成像，经历了半个多世纪。 严格地讲，真正的三维成像只有全息成像技术，我们可以从不同角度看到物体的三维形貌，而其他所谓的三维成像应该是三维形貌重建，不能满足大范围、多角度的观看。

因为已经叫习惯了，学界也慢慢“被迫”接受了这种叫法，因此，在本篇中，我们都称之为三维成像，不再加以区分。 这些成像技术，除了双目立体视觉和偏振成像属于被动成像技术，不需要主动照明，其他的都是主动成像，需要特殊的主动照明方法。主动照明受制于作用距离和环境条件的限制，很多场景难以应用。被动成像具有隐蔽性好、受外界干扰小的特点，如果还能够实现远距离、高分辨率的成像，那无疑是最好的选择，应用范围更广，具有更好的前景。

建立在几何光学基础上的光学成像技术，在成像过程中，将三维的空间映射到了一个平面上，自然丢失了z轴方向上的距离（深度）信息。那么，三维成像当然是要找到那个丢失的维度，这自然要付出代价。我们就来先看看寻找另一个维度的代价吧。

1

寻找另一个维度的代价

Radar（Radio Detection and Ranging），这是雷达的缩写，最后的那个Ranging告诉我们，这个远距离探测、成像技术可以获得距离，因此，可以用来测距和定位，并且雷达波（微波）的远距离传输特点，可以实现非常远距离的探测。如果把微波替换成光波，由Radar变成Lidar（Light Detection and Ranging），就是我们常说的激光雷达，岂不是很好？ 当然好，只是并不一定很好，原因是激光雷达的空间分辨率还比较低，多受制于扫描机制，远距离也难以实现，当然，远距离受制最主要的原因是光波传播特性跟雷达波相比太差了，而且极易受到天气和环境因素的影响，怕雨、怕雾、怕霾，还怕云和烟尘，感觉就像患了严重关节炎的病人，一旦遇到了天气变坏，就敏感地寻死觅活。 其实，影响激光雷达的还有两个很重要的原因：一是价格太高，很多用户用不起；二是相干探测的特点，很容易受到外界的干扰，强光就是它不共戴天的仇敌，多个同波段的激光雷达同时同地工作，结果也可想而知。

光电成像必然走向三维，尽管寻找失去的那个维度需要付出代价，但科学家从来没有停止过。目前，三维成像的方法主要有双目立体视觉、全息三维成像、结构光三维成像、散射三维成像和偏振三维成像等，双目立体视觉是建立在几何光学的基础上的，而其他方面的模型是物理光学。下面，我们来一一分析。

双目立体视觉

人类的双目视觉是是天生的三维立体成像典范。人以左右眼看同一对象，由于两眼所见角度不同，在视网膜上形成的像并不完全相同，当这两个像经过大脑综合以后就能区分物体的前后、远近关系，从而产生立体视觉。注意，是经过大脑综合后形成立体视觉，这就是说，双目立体视觉是经过“计算”完成的，那么，在数学上，该怎么解释？

双目视觉是建立在几何光学基础上的，核心是几何代数运算。假设双目视觉中的左右两个相机位于同一平面（光轴平行），且相机参数（如焦距f）一致。

理想双目相机成像模型(y轴垂直于该平面)

y方向高度点一致

如图所示，根据三角形相似定律：

解方程得：

根据上述推导，空间点P离相机的距离（深度）

，

可以发现如果要计算深度z，必须要知道： （1）相机焦距f，左右相机基线b。这些参数可以通过先验信息或者相机标定得到。

（2）视差d。需要知道左相机的每个像素点()和右相机中对应点()的对应关系。 这是双目视觉的核心数学问题，纯粹的几何光学，正是如此，双目视觉的深度分辨率必然不会高，尤其是远距离的情况，我们完全可以从深度的公式分析出来。

全息三维成像

全息三维成像通过将含有目标信息的物光波与无目标信息的参考光波进行干涉，得到干涉全息图。通过对全息图的再现，获取物光波中携带的相位信息，最后通过相位与目标深度之间的关系，得到目标三维图像。全息技术将目标相位信息通过干涉条纹记录下来，在获取强度信息的同时，得到物光相位信息。在全息三维成像中，物光和参考光分别表示为：

其中，为经目标物体调制后的相位项，包含了目标的三维信息。当对记录得到的全息图进行重建后，此时的光场复振幅分布可近似表示为：



式中第三、四项分别包含了原始物光波的复振幅分布及其共轭复振幅分布。通过在空间中对再现像和共轭像进行分离，获取原始物光波的复振幅分布。

全息三维成像

结构光三维成像

另一种利用载波条纹实现三维成像的技术是结构光三维成像。结构光三维成像与全息技术类似，也是对条纹进行解译。不同点是全息技术是对干涉条纹进行解译，结构光三维成像是对经目标表面调制的投影条纹的解译。结构光三维成像将生成的正弦条纹投影到待测目标表面，通过记录并解调经目标表面调制后的正弦条纹，获取目标在不同空间位置的相位分布，最后根据相位与高度之间的关系实现目标三维信息的获取。投影到目标表面的正弦条纹可以表示为：

其中a为背景光强，b为相机拍摄条纹的调制量，ϕ（x,y）为受物体高度调制后的相位。通过多组条纹投影，可通过联立方程组实现相位信息的解译。

散射三维成像

除了上述介绍的两种方法外，利用散射介质也能够实现目标的三维成像。由于散射介质的随机特性，不同深度目标点间的PSF互不相同。因此，目标的三维信息通过散射介质被编码到散斑中，通过对不同目标物形成的散斑图进行反卷积重建就能实现三维物体在不同深度下信息的恢复，此时，目标的三维分布可以表示为：

本质上，散射三维成像技术属于结构光三维成像，只是这个结构光具有特殊性。 三维成像的手段有很多，但被动、单相机能实现三维成像的目前只有神经网络和偏振成像的方法，而神经网络是一种估计、强统计方法，准确性受训练样本影响大，那偏振为什么能三维成像呢？本篇将从偏振度和偏振角到物体表面法线讲起，剖析偏振三维成像的机理，分析影响偏振三维成像精度的因素，从原理到应用，展开深度分析。

2

偏振三维成像的原理

偏振为何能够实现三维成像？E. Wolf教授提示我们：目标表面反射光的偏振特性与目标表面轮廓特征有直接关系，换句话说目标表面偏振度、偏振角的变化与表面形貌具有直接的映射关系（当然这是在目标材质相同条件下而言，因为不同材质的偏振度变化明显）。

这就是说，如果能得到目标的偏振信息，建立偏振特性与表面轮廓的映射关系，就可以对目标表面进行三维重建。这个描述其实还可以更简化：只要求解出图像中每个像素的法向量，逐点遍历即可重建出整个三维场景。这样一来，那么问题就简单了，法向量就成了偏振三维成像的关键。

接下来，我们按图索骥，看看法向量怎么获取。有两个直接约束法向量的参量，分别是天顶角和方位角，恰好，这两个参量与偏振度和偏振角有直接的映射关系。到这里，我们就豁然开朗了：只要有了偏振度和偏振角信息，就可以实现三维成像了，只需要建立起偏振度和偏振角信息与天顶角和方位角的映射关系。



那如何建立这种映射关系呢？ 首先看天顶角θ的含义：表征光线从目标表面“出射”时，与该点微面元的夹角。这里用“出射”这个词，其实是包含了反射和折射两种情况，分别对应镜面反射面和漫反射面，也就是光滑表面和粗糙表面。对于不同表面，光波的出射情况不同，对应的菲涅尔公式求解出射角的理论也不同。具体如下式所示：

这里r，t表示反射和透射，p，s表示p光和s光。与天顶角θ的关系如下式所示：

其中，u表示像素的坐标矩阵。然后，我们来看方位角，它代表法向量在探测器平面上的投影与水平方向的夹角，也就是出射光波振动方向与水平方向的夹角。对于偏振而言，透过偏振片后强度最大的位置，就是光波振动的方向，因此通过旋转一周偏振片找到强度最大的位置，就是我们要求的方位角。

Imax(u)和Imin(u)分别表示线性偏振滤光片在旋转一周中的光强度最大值和最小值，(u)是探测器所接收到的光强曲线的初始相位角，是偏振片不同的旋转角度。

这就很清楚了，只要有了天顶角和方位角信息之后，就能得到法线信息，就可以重建出三维形貌。在求解得到天顶角和方位角之后，利用下式，将目标各点的法向量进行求解，值得注意的是，因为已知量不足，这里的法向量都是归一化后的“相对”值。



当能够获取到每个点的法向量信息后，其实这里就与传统方法中获取到的点云数据类似了，对于检测、识别等任务已然能够满足要求。如果进一步需要较好的展示，以及需要利用面型进行进一步的处理，则仅需对法向量信息进行积分即可，积分的方法很多，有全局积分、局部积分等等，根据任务和目标不同可以选择最合适的方法。

3

偏振成像系统与偏振三维成像卫星载荷

偏振成像系统

偏振光学成像系统主要分为：旋转偏振片偏振成像系统、多孔径偏振成像系统、分孔径偏振成像系统、分振幅偏振成像系统和分焦平面偏振成像系统。

早期的偏振成像主要为旋转偏振成像系统，通过旋转偏振片在不同的角度依次获取不同偏振状态的图像。这种成像系统具有结构简单、体积小和低成本的优势，但缺点在于实时性较差且旋转偏振片容易震动造成误差。

多孔径偏振成像系统通常由多个成像光学系统及探测器构成，通常采用四个单独的光学成像系统和独立的探测器获取不同方向的Stokes矢量。该成像系统具有实时成像和高分辨率的成像优势，但其造价较高，是单一光学系统的四倍，光学元件多，装配难度大，且存在亚像素位移时较难配准。

分孔径成像系统由四个偏心子系统组成，通过在孔径光阑处分别将子系统光轴与中心轴偏心将整个光学系统分成四个成像通道。这四个通道通过共用共孔径成像组镜头但放置状态不同的偏振元件以获取Stokes四个分量图。分孔径成像系统重量低且能够同时获取不同角度的偏振图像，但是对不同距离目标成像时需要重新配准，空间分辨率较低。



分振幅偏振成像系统

则利用分束光学器件结合成像透镜及多个成像探测器组成多个通道获，在每个通道中放置不同的偏振分析仪以获取目标 Stokes 分量图。该偏振成像系统具有高分辨和实时成像的优势，但缺点在于光学元件多、体积大、装配难度高和光能利用率低。



分焦平面探测器是指光电探测器和微偏振阵列的集成成像元件。微偏振阵列由几个不同偏振角的像素化偏振器组成，以便分解入射光场，从而能够每帧记录前三个或四个Stokes参数。分焦平面探测器尽管相比前面所述的偏振成像系统体积更小、质量更轻，但是其制备工艺的要求极高，且往往需要额外的偏振图像插值重建工作。偏振探测器使得偏振成像技术变得更简单，但会降低分辨率，最主要的是消光比低，Sony的可见光偏振芯片消光比为300:1，红外芯片更低，只有30:1，消光比低带来的代价是偏振信息的信噪比低，这需要更好的重建算法。



上述的这些方法各有优缺点，从发展趋势上来看，分焦平面的偏振探测器肯定会是重点，但确实还面临着很多的问题需要解决，在以后的文章里我将详细论述。

偏振三维成像卫星载荷

2022年8月9日12时11分，搭载“计算偏振三维成像相机”载荷的东海一号卫星成功发射，这标志着我国将首次实现星载对地目标的实时被动三维成像，同时代表着我国计算成像技术在空间领域的科学研究应用，取得重要突破！ 在现有的技术体系下，从微小卫星载荷搭载的角度上看，选择多孔径偏振成像系统是一种最优的方法，主要是技术成熟度高，偏振片的消光比高，获得的偏振信息具有较高的信噪比，这对后期的三维信息重建非常有帮助，下一节将重点讲述。这种方法的代价是光学系统和探测器都是4套，体积大，重量重，成本高。

由于该偏振三维成像载荷的分辨率较低，光学系统体积小，成本不太高，而由这些代价能换得更高精度的偏振信息，在应用上来讲，也是值得的。 对于偏振成像而言，其实只需要3个偏振分量就可以了，所以，在本次载荷的设计中采用了0°、45°、90°三个偏振方向和无偏振的全光相机构成。下面是载荷的技术指标。

表 偏振三维载荷技术指标

4

影响偏振三维成像的因素

偏振三维成像技术具有被动式、远距离高精度、实时性等特点，相较于其他三维成像方法在很多应用场景中具有明显优势，尤其是远距离上，能够单相机拍摄384000 km外的月球三维表面，好像只有偏振三维成像能够做到。但是该方法在求解法向量时，结果存在两个随机解，它们相差180°，而只有一个是正确解。因此，如何解决这种解的奇异性问题，是目前偏振三维成像技术在实际应用中存在的最大的问题。

高精度偏振三维成像的前提当然是获取到更高信噪比的偏振度和偏振角信息，而偏振消光比是影响偏振信息的最重要因素。 偏振消光比是沿偏振主态方向分解的两个正交偏振分量之间的比例关系，单位是dB。100:1意味着20 dB，10000:1意味着40 dB。对于起偏器来说，消光比越高，将输入光变为线偏振光的能力就越强。

对于光源来说，消光比越高输出光就会越接近于线偏振光。理论上线偏光的能量完全集中于一个方向上，消光比无穷大;圆偏光的能量平均分布于两正交方向上，消光比为0；椭圆偏振光,消光比介于0和无穷之间。由于各轴上的能量都相等，非偏振光的消光比为0。实际上，40 dB消光比已经相当高了，低偏光源的消光比一般小于0.5 dB。 我们来看两个数据：Thorlabs公司的偏振片消光比可达10000:1，而Sony的偏振芯片只能做到300:1。

很显然，选用旋转偏振片这种方式可以获得更高信噪比的偏振图像，偏振芯片走向应用，在算法上还有很长的路要走。 接着，我们再来看看影响偏振的还有哪些因素。 环境光干扰是影响偏振三维成像的重要原因之一。自然场景下的偏振三维成像技术由于物体表面漫反射光偏振信息受自然条件下的大气散射光、环境中镜面反射光等复杂环境光的影响，使得混杂后的光同时进入探测器，导致目标漫反射

光的弱偏振特性无法有效分离和精确解译。 此外，偏振三维成像方法还基于以下几个假设： 1)相机正投影； 2)光滑(连续)物体； 3)介电(即非金属)材料； 4)折射率已知； 5)照明由远处的点源提供； 6)表面无相互反射； 7)目标是已知或均匀反照率； 8)光源和观察方向不同。

无疑，在偏振三维成像发展的初级阶段，这些假设条件多多少少都会影响着偏振三维成像的发展，当然，这些也是偏振三维成像走向应用面临的挑战，相信不久的将来，这些问题都能一一克服。

有人问：偏振三维成像的精度能达到多少？这是一个好问题。回答这个问题首先要说明：偏振三维成像获得的表面形貌是相对值，只有知道了确切的距离信息，才能换算成绝对值，而这个确切的距离信息恰恰是被动成像所缺少的。这个距离信息一般可以由相机标定获得，这只限于近距离，也可由双目视觉计算获得，当然，还可以用激光测距雷达等手段给出。

在做偏振三维人脸成像实验中，我们对100米外的人脸进行三维重建，精度可以达到毫米级别，即量级。这里，特别需要说明的是：这种高精度的结果需要很高的空间分辨率，像素数也要足够高。 另外，偏振三维成像不同于双目视觉，由于只用一个相机就可以实现，不存在视差这样的问题，因此会导致形成的三维形貌只有一个视角方向，这在有些场景会受到应用限制。解决办法当然有：多个偏振相机组合。

5

更广阔的应用前景

传统的一些解决方法包括结合Kinect、光度立体视觉、阴影恢复法、数据优化拟合等，在一些特定的目标和场景下能够得到不错的结果。在此基础上，我们针对遥感、室内/外等真实应用场景和目标，研究开发了无标定的多相机拟合、结合深度学习技术、自适应校正等方法，实现对更复杂的实际场景进行高精度重建。目前，已经在对地遥感、室内场景、人脸目标等场景下取得了较好的重建结果。

审核编辑：刘清