傅里叶光场显微成像技术—2D显微镜实现3D成像

近年来，光场显微技术的应用越来越广泛，针对光场显微镜的改进和优化也不断出现。目前市场各大品牌的2D显微镜比比皆是，如何在其基础上实现三维成像一直是成像领域的热门话题，本次主要讨论3D成像数字成像相机的研究，即3D光场显微镜成像技术，随着国内外学者通过研究提出了各种光场显微镜的改进模型，将分辨率、放大倍数等重要参量进行了显著优化，大大扩展了光场显微技术的应用领域。同时，由于近年来微型化集成技术的发展，微型化光场显微技术也逐渐成为国内外学者研究的热点。

1

傅里叶光场显微成像技术在国内外的发展

2014年，Rober等人在核荧光显微镜的像平面上放置了一个微透镜阵列，构建了一个光场反卷积显微镜(LFDM)装置，如图1所示。为了克服LFM中轴向和横向空间分辨率之间的权衡，研究团队通过利用记录数据的混叠并使用适用于LFM的3D反卷积算法，有效地获得了改进的横向和轴向分辨率，最终在生物样品内部的横向和轴向维度上，分别实现了高达约1.4μm和2.6μm的有效分辨率。

图1

2019年，我国的学者团队通过改变微透镜阵列与透镜和图像传感器之间的相对位置，使微透镜阵列远离了光学系统的本征像面，首次提出了高分辨率光场显微镜（HR-LFM）概念，有效避免了传统光场显微镜产生的重建伪影。同时由于微透镜阵列的移动，图像传感器不再记录原始像平面处的图像混叠，大大提高了成像分辨率，如图2所示。

图2

这一装置广泛应用于活体细胞成像，三维分辨率为300nm-700nm，成像深度为几微米，体积采集时间为毫秒级。该方法可以将线性调频作为一种特别有用的工具，在多个时空水平上理解生物系统。此后随着光场显微技术的快速发展，光场显微镜产生了更多类型的演变，如图1-7所示。研究人员通过在微型显微镜平台上引入光场显微镜（LFM），构建了微型化光场显微镜（MiniLFM），证明了单次扫描体积重建，如图3所示。这是通过将微透镜阵列（MLA）与光场反褶积算法相结合，将微透镜阵列（MLA）引入到现有的微型镜平台上。然而，这种设计在多个深度上存在横向分辨率不均匀的问题。

图3

2

微型化集成技术的发展

光学显微镜是一种在很大程度上抵制集成的技术，它通常仍然是一种体积庞大、价格昂贵的桌面仪器。在神经科学中，显微技术在活体动物身上得到了广泛的应用，但是传统显微镜的局限性阻碍了脑成像实验的范围和规模。2011年，KunalKGhosh等人首次提出了光场荧光显微镜的微型化集成，如图4所示。

这是一种微型集成荧光显微镜，由大量可生产部件制成，包括半导体光源和传感器。该设备能够在活跃的老鼠身上进行0.5mm3的高速细胞成像。与高分辨率光纤显微镜相比，这一设备在光学灵敏度、视野、分辨率、成本和便携性方面具有优势。

图4

传统的光场显微镜（LFM）同时捕获入射光的二维空间和二维角度信息，能够通过单个相机计算重建样本的完整三维体积信息，如图5所示。对于传统的线性调频，将微透镜阵列（MLA）放置在宽视场显微镜的本征像面（NIP）上，并且光学信号以混叠方式记录在MLA后焦平面的微透镜上，但线性调频的空间信息采样模式是不均匀的，导致了重建伪影的出现。除此之外，体积重建采用波光学模型的PSF反褶积。传统线性调频的PSF在横向和轴向尺寸上都是空间变化的，这增加了计算成本，使得重建相当慢，不利于快速观察动态或功能数据。

图5

傅里叶光场显微镜通过在透镜和微透镜阵列之间插入一个新的光学透镜，首次将光学变换从时域转入傅里叶域（FD），如图6所示。在傅里叶频域光学系统中，所有信号都可以看做不同正弦函数的叠加，因此这一光学透镜的引入可以将入射光波变成不同频率的单色平面波的线性组合，由于不同单色平面光具有不同的系数，即复振幅，因此后焦面上不同坐标的光强分布，对应入射光波分解成的不同频率单色光波的功率，即位置坐标和光的频率是一一对应的。来自中继像面处图像的光场被傅里叶透镜转换为傅里叶频域下的光场，并与物镜后瞳孔波前共轭，微透镜阵列通过对波前分段，在单个透镜后传输角度信息，从而使相机在不同区域输出图像。

图6

傅里叶光场系统通过在傅里叶域（FD）中记录4D光场，成像方案主要通过两种方式对LFM进行变换。首先，FD系统允许以一致的混叠方式分配入射光的空间和角度信息，有效地避免由于冗余而产生的任何伪影。第二，由于FD以并行方式处理信号，因此可以用统一的三维点扩展函数来描述图像形成，从而大大减少了计算成本。

3

光场传播和成像模型

结合光场显微技术和傅里叶变换理论的有关知识，微型化傅里叶光场显微镜的设计是在光场显微镜的基础上引入一个新的光学透镜，这一透镜放置的位置应远离像平面NIP处，同时应放置在主透镜和微透镜阵列之前；根据微型化的实际需要，本次选用的物镜系统是折射率呈梯度变化的自聚焦透镜GRINlens。由此可以初步得出微型化傅里叶光学系统的主要光学结构如图7所示，这也是光场传播和成像的主要路径。

图7

4

光路设计

傅里叶光场显微镜是在改进后的高分辨率光场显微镜的基础上，在透镜和微透镜阵列之间插入一个新的透镜，该透镜能将光场从时域转换成频域，起到傅里叶变换的作用。为了实现微型化，物镜系统采用GRINlens实现，具体的光路原理图如图8所示。

图8

5

机械系统整体结构设计

本设计的光学外壳是基于傅里叶光场显微镜的微型化而产生的。随着微型化集成技术的不断发展，越来越多的学者团队开始研究将光场显微技术与微型化技术进行结合，也由此设计出了适用于不同光路的微型化结构模型。如图9所示，一学者团队利用GRINLENS作为物镜系统，设计完成了一般光学显微镜和光场显微镜的微型化结构。通过调整各元器件的相对位置，尽可能压缩整个微型化外壳的尺寸，在微型化的同时实现光路设计的预期功能。

图9

基于这一研究成果，根据所设计的微型化傅里叶光场显微镜，在原有光场显微镜微型化外壳的基础上，加入一个新的凹槽，用来安放新加入的傅里叶透镜。结合前文设计好的各元器件的尺寸参数和相对位置，结合光路预期实现的功能，最终设计并完成了微型化傅里叶系统的光学外壳结构，具体尺寸及结构如图10所示。

图10

图11

6

总结

15年来，人们一直提出实施光场显微镜（也称为全透视或整体显微镜）。光场显微镜能够记录厚样品的3D信息，而无需执行多次拍摄。通过捕获不同的视角并使用适当的算法，可以进行深度重建（关注不同的平面）并计算样品宽度和长度上可区分部分的深度图。随着该技术进一步的拓展，应用已逐渐走向大众并实现产品化，比如上海昊量光电代理的西班牙的DOIT 3D Micro相机如图11所示，DOIT（数字光学成像技术）基于全能信息捕获的范式转变。它设计不是在图像平面附近捕获信息（传统技术可以这样做），而是在傅里叶平面中捕获信息。通过这种方式，可以直接获得正交透视，而无需任何数字处理。此外，还避免了使用小微透镜的要求，这避免了限制传统全透镜模式分辨率的波粒二象性，通过最简单的方法让2D显微镜实现3D成像如图12所示。