杂谈光场相机的不足、优势、应用和展望（中）-电子发烧友网

文章的上篇，主要是简单回顾了光场相机的起源历史、极大地推动了它发展的Lytro公司的发展轨迹，并简要分析了这个相机在To C端市场表现疲软的三大技术性原因。

也正如前文指出的那样，光场相机因为它独特的成像特性，在某些To B端领域得到了落地应用，成为在某些特定场景中具有性能优势的一个技术解决方案。这里的“强”和前面的“弱”，实则为光场相机同一技术特性的阴阳两极。作为“阵列”型传感器中的一种，它在空间分辨率和角度分辨率中的折衷主义设计，决定了它性能“两头不靠”，却又“多面能手”。

光场相机的定义虽然范畴很小，但是“芥子纳须弥”。这个概念上十分简洁的设备，即一块主透镜、一个微透镜阵列和一个感光芯片就构成了的光场相机，与很多其他技术相结合，诞生了诸多设备变种，被应用在不同场景需求中。可以认为它很简单，简单到从事计算机视觉的研究工作者，可以不用过多地去理会成像过程中的光学内涵和物理过程，仅凭借着傍轴近似条件下的几何光学，就可以开展应用性研究；但是也可以认为它很复杂，从几何光学到波动光学，从相干照明到部分相干照明，即使是光学专业科班出身的科研工作者，对它的成像过程和性质，也难以建立一个完备的数学描述。

对于作者而言，这个文章的标题从一开始，就是超纲和过于庞大的。但是为了尽量给读者一个清晰的面貌，特别是非专业领域的读者一个简明的介绍，我将斗胆畅言，继续抛砖引玉，阐述下光场相机在某些特定领域的优势所在，以及这几年涌现出的基于光场相机的新型应用技术。

优势篇

光场相机的优点，一言以蔽之，它快速、它灵活、它多变。光场相机最多的应用场景，目前主要集中在3D成像领域，特别是深度估计、3D光强场的逆向重构两大方面。3D成像领域，有很多其他技术方案，多目视觉、激光点阵扫描、TOF飞行时间法、全息术、相位恢复、结构光……光场相机与这些方案对比，成像速度和信息解算速度快，同时保留了被探测物体的灰度值信息（波长、强度），同时也记载了多视角信息（空间频率）。光场相机由于灵活的特点，也可以和这些方案中的一些技术进行组合，衍生“混血儿”。它的独特之处，在于以下几个方面：

1.密集的多视角

由于光场相机中，视角数目，等于单个微透镜下的像素数目，而这一数字，目前达到了三位数的数量级，因此相较于传统多目相机阵列（抛开图1中斯坦福的极端烧钱案例，一般的多目系统相机都是个位数），光场相机在视角的密集程度（即视角分辨率）上，具有明显的优势。

图1相机阵列和光场相机的结构对比(by Kurt Akeley，Light-Field Imaging Approaches Commercial Viability, 2015)

密集的视角，既为重聚焦、基于EPI的深度估计提供了技术上的可行性，成为这些后续技术的一个前期铺垫环节，而且它本身，就有着独特的应用价值。

比如，在手机玻璃盖板的工业检测上，为了检测手机屏幕上的质量瑕疵，一种传统的解决方法，就是工人利用肉眼、一天八小时对着强光并反复从各个角度检查瑕疵。这种To C产品的检测需要尽可能地降低漏检率，提高成品率，参见毁掉三星手机诺大声名的其实只是百万块手机电池中的一块。瑕疵由于对光线的反射或者折射特性变得十分隐蔽，只有在特定视角下，才可以显现。如果利用传统二维相机进行扫描，视角移动设备复杂，也不具备时效性；利用人工肉眼检测，对工人的健康不人道。丰富的视角属性，为光场相机探测这些瑕疵赋予了快捷、准确的属性。

2.结构的紧凑性

对比图1中，两种光场技术的系统尺寸大小，光场相机的结构紧凑性，不言而明。光场相机结构的紧凑性，带来两点收益：光场相机适合在空间光学观察窗口受限条件下对目标进行观测；光场相机容易与其他附加光路结合，构成另外一种应用方式。

图3：光场相机应用于燃气轮机的内涵道激光粒子图像测速（小梅本人画的）

光学窗口受限的典型情况，就比如旋转机械中流场的观测，为了尽量降低光学窗口对机匣中气体流动的影响，以及降低结构强度，光学窗口一般数目都很少，大小有限。

后者的一个典型案例，就是光场相机在生物显微方向的应用，通过附加光路，不用太复杂的设备，即可完成成像系统的改造。

3.快速的宽视场体成像

这一特点，在光场相机的显微成像中被反复提起。由于光场相机仅需要单次拍摄，就可以记录光场信息，因此方便快速地完成对被观测物体的3D图像采集。在生物显微领域，光场相机的应用极大地降低了标本的活性时间要求。其他很多传统的3D成像技术，要求活体标本保持位置和姿态固定（想象下病人去扫描CT核磁共振的时候，一动不动，那带壳的长寿动物犹不能及），而光场相机速度快的优势，使得它甚至可以被用来检测运动状态下的被检测活体[1]，比如游动的细菌、运动中的老鼠，这种场景在传统医学成像领域基本上是不可能出现的。

图4：基于光场相机的三维成像显微镜（Prevedel, Simultaneous whole-animal 3D imaging of neuronal activity using light-field microscopy. 2014.）

4.“一鱼多吃”，光场信息的多种解读

光场相机由于是记录了光线的方向和坐标等四维信息，因此基于对光场的不同解读方式，可以形成对光场图像的不同利用方法。典型的解读方法有：

a.重聚焦，形成了一系列focal stack图片。这种解读，可以了解为被观测物体，在一个定焦透镜不同轴向位置处的图像变化。focal stack目前主要的应用，是被利用在深度估计上，也可以应用它进行对被观测物体的相位恢复。利用不同轴向位置处的图像锐度，可以判定被观测物的空间位置。和其他利用focal stack的技术相比，比如机械式的移动被观测物，或者最新大火的液体快速变焦透镜（华为P50预告），光场相机获得focal stack是通过一次拍摄，后续处理得到的，更具备时效性，所拍即所得（当然空间分辨率上，其他focal stack技术更好，时间换空间）。

图5：光场相机利用重聚焦形成的focal stack (Takahashi, From focal stack to tensor light-field display. 2018.)

b. 多视角图像，形成了密集分布的不同视角下的图片。在此情形下，光场相机即可以退化为传统的多目视觉，因此主要用途依旧是深度估计，用来观测物体的形貌。但是由于光场相机的视角密度很高，因此一个更合理的利用方式，是利用多视角图像的EPI(epipolar plane image), 探测特定目标区域的EPI的斜率变化，从而得到深度信息。

图6：光场相机多视角图像形成的EPI信息（Teixeira, Epipolar based light field key-location detector. 2017

c. 点扩散函数的利用。光场相机的点扩散函数PSF，会随着点光源在轴向的位置而发生改变。在空间域看，随着点光源离焦程度的加深，更多的微透镜被照亮，点光源仿佛散作满天星。在频率域看，不同空间频率分量上的频谱分布发生了改变。这种PSF随着空间位置发生变化的属性，与点扩散函数工程领域的方法，有着异曲同工之妙。在点扩散函数工程领域，PSF被人为调制，使得物点在不同空间位置上的像图案呈现不同规律，比如涡旋光束导致图案会根据沿光轴位置，旋转不同角度[2]。光场相机的PSF也呈现出不同特征、但思路相仿的特点，通过探测、校准PSF, 利用反卷积技术，可以利用图像重构物方三维空间中的光强分布。这一方法，在光场的显微三维成像领域中，受到了广泛的应用。

图7：光场显微中的PSF和反卷积应用（Broxton, Wave optics theory and 3-D deconvolution for the light field microscope. 2013）

d. 波前传感与相位探测。光场相机的前身，有另外一个名字，哈特曼-夏克传感器，这一仪器，主要被用于探测光波的波前和相位分布。这一传感器的工作原理的简要介绍，可以参见如下的中文链接。但凡波前探测的领域，都可以见到这一相机的应用场景，比如自适应光学中，探测大气湍流造成的波前畸变，消除像差从而提高天文观测的成像质量，光学仪器的瑕疵检测，激光光束的波前探测.于军于民，基于光场相机的波前探测也是一个小的研究热点。