0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浅析基于超构表面的三维成像技术

MEMS 来源:MEMS 2023-08-14 09:59 次阅读

三维成像技术具有强大的精细化空间数据描述能力,在消费电子自动驾驶机器视觉和虚拟现实等领域已成为最关键的传感技术之一。现有的三维成像技术受到传统折射元件和衍射元件的物理机制限制,难以满足设备小型化、集成化、多功能、大视场、大数值孔径、高分辨等性能要求。超构表面作为由亚波长纳米天线阵列构成的智能表面,能够实现对光场的振幅、相位、偏振等参量的人为调控,具有体积小、高空间带宽积、高效率、多功能、大视场等优势,有望成为新一代光学元件服务于三维成像技术。

据麦姆斯咨询报道,近期,北京理工大学光电学院的科研团队在《激光与光电子学进展》期刊上发表了以“基于超构表面的三维成像技术”为主题的文章。该文章第一作者为景晓丽,通讯作者为黄玲玲教授。

本文综述了基于超构表面的三维成像技术进展,在超构表面的物理机制和应用优势的分析基础上,详细介绍了超构表面在三维成像技术例如结构光技术、飞行时间法、光场成像和点扩散函数工程中的应用和表现,总结和展望了基于超构表面的三维成像技术面临的挑战和未来发展方向。

超构表面的物理机制与应用优势

超构表面的物理机制

目前已报道的超构表面大致基于三类设计思想:共振相位超构表面、传播相位超构表面、几何相位超构表面。

共振相位超构表面于2011年由哈佛大学的Capasso课题组首次提出,利用局部表面等离激元谐振响应调控天线辐射场的相位,从而在亚波长尺度实现对光场的调控。如图1(a)所示,使用V型天线实现对表面相位的不连续调控,该结构的相位调控自由度为臂长h和夹角Δ,扫描得到高效率、涵盖0~2π相位调制的结构参数,如图1(b)所示。金属共振超表面通常采用V型、Y型和C型来构建更复杂的超原子。由于金属超表面的效率和工作波段非常局限,研究人员提出基于米共振和法珀共振的全介质超表面,也称为惠更斯超表面,该超表面的厚度远远小于工作波长,具有较高的工作效率和较低的损耗。

91c128bc-39f3-11ee-9e74-dac502259ad0.png

图1 超构表面的物理机制和相位调控

2018年,Fan等根据传播相位的设计方法设计一个基于SiN材料的大数值孔径可见光超透镜,其结构参数电镜图、扫描振幅和相位图如图1(c)、(d)所示。

几何相位起源于1956年,印度拉曼研究所Pancharatnam首先提出当平面结构相对于z轴逆时针旋转一个角度Δθ时,交叉偏振散射会产生一个额外的相位因子exp (i2Δθ)exp(i2φ)。随后1984年,英国布里斯托尔大学的Berry阐释该相位的产生源于光子态在高纬度空间中发生绝热演化,称为几何相位,也称作Pancharatnam-Berry(PB)相位。如图1(e)所示,PB相位对应于在庞加莱球上两点之间路径引入的额外相位差值,等于各项微结构旋转角的2倍。因此,几何相位超构表面的相位调控自由度为微结构的空间取向角,可通过扫描长宽参数得到高效率的微结构参数,同时旋转整体微结构获得需要的相位调控,如图1(f)所示。由此可见,几何相位仅由入射光的偏振状态和微结构的旋转角度决定,因此几何超构表面具有宽带效应的特点。

超构表面的应用优势

超构表面利用亚波长尺度下光与物质相互作用的物理机制,通过合理选择和优化纳米结构的形状、大小和工程排布,对局部电磁场的振幅、相位、偏振、波长和轨道角动量等特性进行操纵,为实现光场调控提供了丰富的设计自由度。总体而言,在基于超构表面的应用技术中,超构表面具有系统紧凑、多物理量调控、大视场高效率等显著特点,有望成为下一代被广泛应用的新型光学器件。

基于超构表面的光学元件能够满足仪器的小型化,降低光学系统的尺寸、重量和功率等要求,在现代消费类光电子设备、无人机和空间应用中至关重要。超构元件的紧凑性主要基于超构表面的平面特性实现器件、系统的小型化和集成化,如图2(a)所示,单片惠更斯超透镜组成视场角30°的紧凑型近红外成像系统。多片平面式超构表面可以实现传统光学系统的折叠,充分利用设计空间,如图2(b)所示,由多片超构表面组成的小型化平面光谱仪尺寸仅为1.6 mm×1.6 mm×1.7 mm。超构表面不仅可以实现光学系统的空间折叠,还可以与光源、探测器集成进一步提高其系统的紧凑性,如图2(c)所示,单片超表面集成互补金属氧化物半导体(CMOS)探测器构成掌上显微镜。基于超构元件的紧凑性另一方面体现在单层超构表面能够设计多种光学功能。超构表面是由纳米结构阵列组成的离散光学元件,可以在单层中交织多种功能,如图2(d)所示,共孔径交错式超构表面实现多功能相位剖面的叠加,这在传统光学中是不可能实现的。

92cb47c4-39f3-11ee-9e74-dac502259ad0.png

图2 超构元件的紧凑型系统

超构表面的另一个优势是多维度物理量复用,基于亚波长单元结构,超构表面能够实现偏振、相位、角度和轨道角动量这些光隐藏信息的可视化,结合前述单个超构元件集成多种功能,实现了传统光学不易实现的功能和信息容量。因此,超构元件得以在全息显示、多功能超透镜等领域展示出惊人的应用优势。

超构表面的光束控制是基于亚波长空间尺寸上裁剪反射光或透射光波前,因此多级衍射被抑制,波前操纵在理论上具有接近1的效率和数值孔径(NA),这为大视场、大NA和高效率的工业设计提供了诱人的理论支撑。随着微纳加工技术的不断进步,超构元件的效率进一步提升,会进一步推进超构元件在工业界、消费电子界的应用。

基于超构表面的三维成像技术

三维成像技术通过设计主动(如结构光照明、飞行时间法等)或被动(如双目视觉、光场技术、点扩散函数工程)的编码方式,使得位于不同深度的物体具有不同的强度响应,从而实现深度信息的获取。这些三维成像技术在成像场景、成像视场、深度成像范围、空间分辨率、深度分辨率和速度上表现各异。首先,成像场景与三维成像的主动或被动模式有关。相较于被动模式,主动成像由于可以额外投射可编码图案,在暗光、低纹理目标物体的环境中更有优势,但对于高反光物体和高透过率物体,主动成像则常常因为相机局部过曝和反射图案信噪比过低等原因,无法获得全视场三维点云和精确点云数据。

成像视场和空间分辨率是描述三维成像中二维空间的性能指标。成像视场是指能够实现三维成像的场景大小,一般用视场角表示,主要取决于各种三维成像技术中获取信息量的空间大小,例如主动式技术中依赖于投射端的视场,被动式技术中依赖于拍摄端的视场大小。空间分辨率是指成像场景中可被区分的最小空间尺寸,一般用不同深度处的尺寸单位例如毫米或者角度分辨率表示,空间分辨率决定了三维重建数据的密度,是描述测量空间的重要参数。

在散斑型结构光三维成像和TOF法技术中,空间分辨率依赖于投射点云数量,在光场技术中,空间分辨率依赖于拍摄相机的分辨率和微透镜个数,在PSF技术中,空间分辨率依赖于PSF的空间特性。深度成像范围和深度分辨率是描述三维成像在深度方向上的性能指标。深度成像范围是在成像视场内能够获取深度的距离最小值和最大值构成的深度空间,在结构光三维成像中一般依赖于投射端和拍摄端共同作用下能够清晰成像的范围,在TOF技术中依赖于光源能量和调制模式,光场技术中依赖于光场恢复算法中能够被解算出的深度范围,与三维重建算法和微透镜参数有关,PSF技术中依赖于PSF整形的深度区域和算法解算区间。

深度分辨率是指成像视场内深度方向可被区分的最小距离,一般用不同深度处的距离单位(例如毫米)表示,深度分辨率是深度成像的重要性能参数。结构光三维成像中深度分辨率依赖于拍摄端焦距和系统基线,TOF技术依赖于光源调制模式和调制参数,光场技术依赖于微透镜在系统的位置以及微透镜的大小,PSF技术依赖于PSF随深度的响应和深度解算算法。

三维成像的速度主要有两方面因素,一方面是光机硬件设备对速度的影响,例如结构光和TOF技术在多次拍摄模式下,需要考虑投射图案的帧速问题,一方面是硬件平台和算法逻辑的影响,结构光需要大量的图像匹配运算,而TOF一次运算可以直接获得点对应的深度,在单点运算上要优于结构光技术,光场技术的深度解算分为视觉类匹配算法和凸优化算法,在速度变现上各异,PSF工程大多依赖于正则化的凸优化算法,本文重点讨论超构表面器件在TOF技术中扫描帧速的表现,算法对深度解算的影响不过多探讨。

最近,纳米光子学的最新进展被认为是传统激光雷达系统的支持甚至替代技术。特别是,一些小型化的光束转向平台,如芯片规模的光学相控阵和基于超表面的平面光学设备,可以切实缩小设备占用空间。除此之外,纳米光子器件还可以在信息容量方面提供成像能力进而提升成像视场、空间分辨率等。本文回顾了基于超构表面的结构光技术、TOF法技术、光场技术和PSF技术。

结构光三维成像技术

结构光三维成像技术是一种非常流行的非接触式三维形貌测量技术,其具有硬件配置简单、测量精度高、空间分辨率高、速度快、成本低等优点,在工业和消费电子领域得到广泛应用。结构光技术本质上是基于三角测量原理,由光源向被测物体投影一定规则和模式编码的图像,编码图案受到物体表面形状的调制而产生形变。带有形变的结构光被另外一个位置的相机拍摄,通过预先标定好的相机与投影光源之间的位置关系和结构光图案形变信息推演出待测物体的三维信息。散斑编码是结构光技术中常见的编码图案,一般要求局部图案具有全局唯一性,而且散斑的数量决定了可解码的信息量,影响待测数据的空间分辨率。超构表面具有亚波长的特征尺寸,多物理量光场调控的特点,因此用做结构光投射器具有大视场、高密度信息的优势。

Ni等提出使用偏振无关的超构表面衍射元件,实现了具有120°×120°视场角,强度均匀且高效率的点云阵列投影,如图3(a)所示。超构表面的达曼光栅具有衍射光学元件(DOE)无法达到的视场角,有望成为下一代分束器元件。基于几何相位超构表面全息再现的共轭特性,Li等提出基于非晶硅几何相位超构表面的全空间点云投射器,如图3(b)所示,利用偏振复用的特点同时实现透射和反射空间的随机点云,300 μm×300 μm的超构表面产生点云数量为4404个。高密度的图案与超构表面的面积有关,随着光刻技术的发展,Li等通过浸没式光刻技术在12英寸玻璃晶圆上制备了尺寸为2.5 mm×2.5 mm的像素化超构表面光束偏转器,如图3(c)所示,像素化超构表面的每个像素由一组含有特定梯度相位的超构表面组成,具有特定出射角度,结合大面积光刻制造技术,随机化的光束偏折形成了随机点云用于结构光三维成像。

基于超构表面的平面性、易集成等优点,Xie等提出集成超构表面的垂直腔面发射激光器(VCSEL),如图3(d)所示,超构表面集成在激光出光口处,通过精心设计的单元结构实现激光光束整形。通过VCSEL阵列集成不同功能的超构表面实现功能切换,使其成为一个主动器件,有望成为下一代点云投射器件。随后,Wang等提出使用超构表面形成不同偏折方向的分束器,如图3(e)所示,扩展VCSEL集成超构表面的功能。超构表面的高空间带宽积使其具有大信息容量的应用潜力,如图3(f)所示,Kim等实现了180°全视场约10 K的点列投影,结合双目相机和立体匹配算法实现三维成像,同时Kim证明了结合纳米压印技术实现该技术量产的可行性。

92fd77bc-39f3-11ee-9e74-dac502259ad0.png

图3 基于超构表面的结构光点云投射器

基于超构表面的结构光三维成像技术目前多数采用超构表面作为点云投射器,亚波长单元尺寸的衍射效应使投影视场可达到整个空间,这是传统光学元件无法比拟的优势。同时超构表面投射的点云数量依赖于微结构的个数,相比于DOE,在相同尺寸下超构表面具有更大的点云密度,这为高空间分辨率的结构光三维成像提供了基础支持。除此之外,超构表面作为纳米光子平面器件,其高度集成性打破了传统点云投射装置的结构复杂性,使整个投影模组达到芯片级,具有更好的结构稳定性,降低对准误差等精密工艺引入的制造成本。由于结构光三维成像技术属于面投射技术,投射点云数量的增多同时会带来单个点云能量的降低,因此基于超构表面的三维成像技术适用于较短工作距离(300 mm)成像例如人脸识别等。相较于传统三维成像技术,基于超构表面的三维成像技术具有不虚焦的特点,增加光源能量可以扩展工作距离,这为结构光技术在工作距离方面提供了应用拓展,未来可以应用在飞行器测绘等领域。

飞行时间法

在学术界和工业界,高效、可靠、快速的激光雷达系统的研究正在蓬勃发展。激光雷达技术应用于各种行业,包括自动驾驶汽车、人工智能机器人、全自动和无人工厂,以及大气或降雨观测等。激光雷达基于TOF技术,最重要的性能参数包括测量范围、水平和垂直视场、帧速、点数和功耗等。目前大多数采用宏观机械扫描或微机电系统(MEMS)方法的产品,宏观机械扫描仪的测量范围通常在100~250 m,水平视场是完整的360°,而垂直视场取决于通道的数量,通常为30°~40°,获得的最佳空间角分辨率为0.2°×0.1°。数据速率,定义为每秒可识别点的数量,范围为每秒1.3×10⁶~2.4×10⁶点。目前传统的TOF产品存在视场受限、功耗大、易损耗、笨重等问题。基于超构表面的激光雷达系统其工作原理依赖于亚波长相位控制与纳米结构元件,允许较高的精度控制和较大的调制波前的方向角。光束扫描的主动超构表面器件通常将超构表面与活性介质结合,如透明导电氧化物(TCO)材料、多量子阱(MQW)、微机电系统(MEMS)、液晶(LC)或相变材料等。主动可调超构表面设备有望替代点扫描或线扫描激光雷达组件,解决传统机械组件中的机械损耗大、振动敏感等问题。作为全固态激光雷达的一个有前途的候选方案,基于超表面的激光雷达原则上可以为特定应用量身定制,以满足多波长操作、测距、分辨率、偏振、深度精度、视场、生产可扩展性和低成本的片上集成的要求。

基于TCO材料的主动可调超构表面

基于TCO材料的主动可调超构表面,通过控制活性层中的电荷浓度实现有效折射率的调节,从而引起超构表面的相位变化完成光束的动态转向。此类型超构表面使用金属氧化物半导体(MOS)调制器,具有低电压偏置(几伏)的高速调制(约为10 MHz)的优势。氧化铟锡(ITO)是最常用的TCO材料之一,在近零区域(通常为近红外波段)时,它的介电常数在−1~1之间,在电荷积累层附近电场约束进一步增强,这十分有利于构建电调谐纳米光子器件。

Huang等提出并验证一种工作在1550 nm波长下的栅极可调超构表面,可实现对反射场的相位和振幅动态电控可调。如图4(a)所示,MOS调制器由顶部Au天线的栅极、Al₂O₃间隔层和ITO-Au背电极组成,当对MOS电容器施加1 V或更高的电压时,ITO层发生电荷积聚,从而改变其有效折射率。ITO载流子浓度随外加电压的变化而变化,给定ITO层中的电荷浓度,可以计算出积聚层的厚度,从而预测器件的近场和远场特性。实验验证,通过施加2.5 V门偏压,调制速度可高达10 MHz,产生184°的相移和约30% 的反射率变化,开关功耗低至2.5 fJ。基于相移调控规律和低功耗的优势,通过对多组不同周期的纳米光栅结构施加电门控,可以调整±1衍射阶的偏转角度,实现有效的不同角度扫描。如图4(a)所示,针对2 ~ 4 μm的周期性纳米天线,在仅施加3.0 V电压的情况下获得−40°~40°的扫描区域。Park等在前述工作的基础上,建立MIM间隙等离子共振模型,分析欠耦合,临界耦合和过耦合状态下的反射场,如图4(b)所示,使满足180°相位偏移、低损耗的微纳结构设计更加高效,同时实现偏振照明的主动可调。除了采用不同的纳米天线材料和对应优化的结构参数,采用双门控方法,也可以进一步扩大天线的调谐范围。

Shirmanesh等提出了双门控场效应可调谐超构表面天线阵列,如图4(c)所示,该双门控超构表面结构由铝背反射器、栅极电介质、ITO、栅极电介质异质结构和具有“鱼骨”图案的周期性铝纳米天线阵列组成。该结构提供了两个门,一个在顶部天线和ITO层之间,另一个在背板反射器与ITO层之间。双门控超构表面等价于两个电压独立控制的串联MOS 场效应结构,因此与单门控超构表面相比可以产生更宽的相位调谐范围。介电层由氧化铝/氧化铪纳米层结构制成,具有高击穿场和高介电常数的优势。顶部和底部的ITO/栅极-电介质界面在施加的外部偏置电压下表现出电荷积累或耗尽,从而促使ITO层的复折射率发生大幅变化。在工作波长1550 nm下的实验表明,约6.5 V的电压足以实现89%的反射率调制和约300°的相移,在偏转角度和损耗方面具有良好的优越性。Kim等使用基于双门控等离子共振阵列结构的主动超构表面,独立控制反射振幅和相位,相位范围可实现0°~360°的角度偏转,如图4(d)所示,并首次成功实现10 m处的3D深度成像,扫描角度、角度步长和空间点数分别为6°×4°,0.2°×0.2°和31×21=651个。随后,三星公司的Park等在该研究工作的基础上,使用相同结构开发空间光调制器实现光束扫描功能,如图4(e)所示,以5.4 MHz的速度实现振幅独立控制的360°空间连续扫描,在250 μm×250 μm的面积上集成550 个独立可寻址的微纳共振结构,并开展工作距离4.7 m处的街道实景扫描实验,其中车模型和人体图的三维成像结果如图4(e)所示。

932cf776-39f3-11ee-9e74-dac502259ad0.png

图4 基于TCO材料的主动可调超构表面实现光束扫描

基于MQW半导体架构的主动可调超构表面

MQW架构广泛应用于各种高端光电器件,并有可能在可见光和较短的近红外波段实现高达千兆赫兹速度的高速光电调制。目前基于MQW架构的主动可调超构表面的物理机制是:通过对MQW施加电压偏置,利用量子约束斯塔克效应调制折射率,结合超构表面的光场特性实现主动可调。半导体超表面最显著的优势是可以直接在III-V族晶圆上单片生长,同时与基于MQW架构的LED、边发射器和VCSEL等现有光源集成。

Wu等开发了一种实现有源超构表面的技术,超构表面的外延III-V异质结构由1.2 μm厚的未掺杂MQW层和具有分布式布拉格反射器结构的GaAs衬底组成,如图5(a)所示。MQW在915~920 nm附近的近带隙区域中其可调折射率实部范围在0.01~0.05内,通过将具有Mie谐振和导模谐振的混合超表面与可调谐MQW结构结合,可以进一步扩大调制范围。具体来说,部分蚀刻的双缝MQW光栅结构在916 nm和963 nm附近出现了反射率下降。这种混合谐振模式增强了917 nm附近的电光调制,并产生了约270%的反射率调制和70°的相移。利用MQW折射率实部的电光调制和可调光栅结构,将其应用于光束转向。实验证明使用约3 V的偏压可实现全视场20°的光束扫描。在此研究工作的基础上,Khaidarov等在混合金属布拉格腔的GaP LED光源上集成超构表面,如图5(b)所示,布拉格腔用来减小光束的发散角,超构表面通过光栅结构调整光束偏折角度,从而实现了30°视场范围的动态光束扫描,但效率仅为3%。

93dc771e-39f3-11ee-9e74-dac502259ad0.png

图5 基于MQW架构的介电主动可调超表面

基于MEMS集成的主动可调超构表面

MEMS集成超构表面一般通过MEMS实现动态可调,超构表面以亚波长优势实现光场调控。Holsteen等设计了一种驱动悬浮硅超构表面器件,能够实现瞬态颜色控制、动态光束控制和光聚焦等多项功能,如图6(a)所示,器件由SOI基底和硅超构表面组成法珀共振模式,该器件的调制速度为1 MHz,偏置电压为2~3 V,其中在2 V偏置电压下覆盖12°的扫描视场。除了上述将MEMS用作动态控制超构表面模式器件外,利用超构表面的亚波长调制特性,也可将其应用于传统光束扫描方案中替代已有光学器件。偏心微透镜阵列(DMLA)是一种MEMS光束扫描方案,它作为机械和全固态方法的过渡技术,具有速度快等优势,但受限于传统微透镜的F数限制在角度分辨率性能上难以提升。Chen等提出使用超构透镜构成两组偏心透镜阵列,开发基于超构表面透镜阵列的半固体微机械光束扫描系统(MMLA)。两组透镜阵列构成共焦系统,前组透镜相对于后组透镜的微小横向位移可实现出射光束的角度偏转控制。因为超构透镜阵列具有极小的F 数,可获得接近衍射极限的角度分辨能力。实验中实现了30°×30°的视场角和0.14°的角分辨率,可以清楚地识别三维物体,扫描速度可优化至10 kHz左右,如图6(b)所示。在大角度扫描方面,Martins等提出使用超构凹透镜扩大出射角度的方法,结合具有MHz 扫描速度的声光偏转器(AOD)将入射光束定向至超构透镜的不同径向位置处,从而实现大角度150°的动态光束扫描,如图6(c)所示,成功实现人体不同位姿的三维重建和识别。

9414097c-39f3-11ee-9e74-dac502259ad0.png

图6 MEMS集成超构表面实现光束扫描

基于液晶与相变材料的主动可调超构表面

液晶分子在外加电压下能够实现动态折射率控制,因此基于LC的空间光调制器(SLM)常用于激光雷达三维成像中。但LC层的厚度和小像素尺寸存在本质约束,严重限制了小像素尺寸SLM的发展应用。Li等提出集成TiO₂超构表面和LC,实现亚波长像素尺寸的SLM,如图7(a)所示。超构表面结构集成在液晶夹层中,根据液晶分子的取向0°、45°、90°实现三级相位延迟,通过施加0、3.5、8 V的偏置电压实现角度11°的偏转,但液晶集成超构表面的结构调制速度只有kHz,切换时间为ms级。除此之外,相变材料是一种制备有源可调超构表面的材料,通常在外部热、光和电的激励下,在非晶态和晶态之间快速和重复切换,如图7(b)所示。Yin等提出一种基于相变材料高度集成的等离子体有源超构表面实现光束转向。有源超构表面由50 nm厚的相变材料有源层(Ge₃Sb₂Te₆)、15 nm厚的防氧化层和40 nm厚的Au天线组成,当温度加热到160°时切换至非晶态。该结构有两组不同等离子共振的纳米天线,在非晶态和晶态下分别具有不同的共振模式,从而改变衍射光束的衍射角,实现光束偏折可调功能。

94424d6e-39f3-11ee-9e74-dac502259ad0.png

图7 (a)基于液晶的主动可调超构表面;(b)基于相变材料的有源超构表面

以上几种调控方式实现的动态可调谐超构表面光束扫描方案,具有不同的特性。TCO适用于近红外和中红外波段,调制速度达到几十MHz,其中双门控结构具有高载流子密度,成像视场可达到180°,相较于结构光技术,其点云密度较少,但计算速度快,因此在自动驾驶等领域拥有巨大的应用潜力。MQW适用于可见光和近红外波段,调制速度比TCO 更快,最快能够达到几千MHz,并且和光源直接集成,有望实现平面化高集成度光电器件,但MQW目前效率较低,且基于可调光栅结构导致扫描角度有限,后续有望采用阵列电控模式拓宽其扫描角度。MEMS系统通过形变实现连续的光束扫描,但调谐范围有限,只有±12°的成像视场,基于透镜相位组合的MEMS超构表面器件扩大了成像视场,相较于传统MEMS器件在成像视场和空间分辨率上有极大的优势,但是离散元件结构同样会面临机械结构惯性引入的技术问题。基于液晶的主动可调超构表面可以在太赫兹到可见光的宽波段内工作,切换时间为ms级,速度较慢,相变材料GST通过改变温度可在非晶相和晶相之间实现ns级切换,其高折射率可应用于红外波段,且在实际工程应用中快速温控调节会使整机体积变大,离真正的集成器件仍有一定的距离。

光场技术

光场成像的理论背景源自全光函数,全光函数是对空间中光分布的非物理、无模型、纯现象学的描述。为了在不参考底层成像机制的情况下适应于光的所有可能变化,全光函数采用高维函数L(x,y,z,θ,φ,λ,t)描述任意空间位置(x,y,z)、任意入射角度(θ,φ)、任意波长λ、任意时刻t的亮度值。考虑到实际成像装置是宏观的,同时假设测量函数是带限的,我们可以使用四维(4D)函数(u,v,s,t)描述光场,对应于物理空间中的一条光线,该函数也被称为相空间函数。传统的光场成像通常使用小孔阵列、微透镜阵列和编码孔径阵列等对光场函数进行采样,结合后期计算机视觉算法获取光场信息,将投影移动到不同的焦距,这使用户能够在采集后自由地重新聚焦图像从而得到真实场景的三维信息,已逐渐应用于工业、虚拟现实、生命科学和三维流动测试等领域。其中微透镜阵列相对于针孔阵列具有更高的能量利用率和信噪比,相对于编码孔径阵列更易于制造,因此被广泛应用于光场相机中。光场相机的性能分为空间和深度两部分,其中空间分辨率和深度分辨率取决于相机传感器的像素数,是一对相互约束的性能指标,同时光场相机要求具有更宽的视场和更大的景深。随着相机传感器像素的尺寸越来越小,尺寸更小的微透镜阵列设计和加工制造同样面临着挑战。基于超构表面的超透镜研究目前已趋于成熟,在消球差消色差等方面有显著进步,由于传统折射球面透镜很难通过一片式透镜实现消色差和球差,超透镜阵列的引入为光场成像的性能提升带来新的希望。

2019年,Holsteen等提出多功能光场超构表面实现高分辨率的三维单粒子追踪。超构表面阵列采用共孔径相互交叠的三个透镜相位,如图8(a)所示,共孔径透镜相位相比相同口径内分离的三个透镜相位具有较大的NA,从而实现衍射受限的横向分辨能力,结合三个透镜阵列组成的光场模式,在0.5 mm×0.5 mm×0.3 mm测量体积内进行多个荧光粒子的同时跟踪,且具有亚微米水平和微米水平轴向分辨率。该方法基于超构表面的相位复用技术实现多功能透镜阵列,解决了三维单粒子追踪横向分辨率不足的问题,且超构表面的小型化和平面化使其可以适配未经改装的显微镜,相对传统光学元件具有广阔的应用前景。针对传统单片透镜难以实现消色差的问题,Lin等通过纳米柱和纳米孔的结构参数设计满足群延迟和群延迟色散的补偿,实现单个超透镜消色差功能,将60×60的消色差超透镜阵列应用于光场相机中,获得不同焦深的动态实时全彩成像,如图8(b)所示。

2020年,Kwon等通过偏振复用和空间复用的方法充分利用超构表面的紧凑性和多功能性,设计双层超构表面(垂直级联)组成的小型化定量相位梯度显微镜,如图8(c)所示,第一层超表面形成剪切的两幅正交偏振态图像,经过第二层的三个离轴超透镜后分别叠加上不同的相位,最终在像面上得到三幅干涉图,结合三步相移算法和差分干涉对比提取定量的相位梯度信息,获得了亚微米尺度的轴向分辨率。超透镜阵列不仅可以同时获得待测物体的位置信息和角度信息,在不同视差情况下的像差表现也具有差异性,基于超透镜阵列的成像像差特性,Liu等提出使用超透镜阵列实现像差校正的三维定位技术,如图8(d)所示,该方法利用3个超构透镜形成的有视差的3幅图像,设计基于互相关的梯度下降算法对图像进行单色像差校正以提高成像质量,利用校正后的图像计算视差值得到其深度信息,实现亚微米级别的三维定位。

2022年,在前述超透镜阵列光场相机的研究基础上,Fan等提出基于偏振复用的双焦超透镜阵列用于扩展景深的光场成像,如图8(e)所示,该技术通过对场景中的自然光进行正交偏振态的不同光场调制,在拍摄场景的近端和远端均可自发实现光场信息的获取。双焦超透镜引入的像差可构建为调制矩阵,由后期的深度学习算法去除像差后结合传统的基于视差几何的光场恢复算法,实现3 cm~1.7 km的超大景深光场成像。为了解决光场成像被动成像对暗光等环境适应性差的问题,Chen等提出集成结构光技术和光场技术的超透镜阵列设备实现复杂环境的深度感知,如图8(f)所示,该方法利用超透镜阵列的逆向光路,由激光光源和探测器组成共轭光路,当环境变暗时,打开激光光源经过超透镜阵列投射阵列光点形成结构光投影,结合三角测量原理恢复300 mm测量范围的深度信息。

947b2724-39f3-11ee-9e74-dac502259ad0.png

图8 基于超构透镜阵列的光场三维成像技术

基于超构表面的光场技术本质是利用尺寸小、无球差可复用的超透镜阵列替代传统微透镜阵列实现更高分辨率、更大工作范围的三维成像技术,因此可根据不同距离处不同视场大小的测量场景选择主镜配合超透镜阵列实现三维成像,在显微成像、自动驾驶、人脸识别等领域均具有广阔的应用前景。在空间分辨率和深度分辨率方面,超透镜阵列可通过设计实现对应测量场景的折中,随着未来探测器的像素尺寸越来越小,像素数越来越大,超透镜阵列的光场成像技术方案将发挥不可替代的作用,致力于新一代光场成像应用。

点扩散函数工程技术

线性不变光学系统可以通过PSF来完全表征。通过设计具有特定性能的PSF可以得到具有所需性能的成像系统。例如,具有抛物形相位剖面加上立方相位项的扩展焦深超构表面,在整个可见光区域具有不变的PSF,可以使用白光进行聚焦,全可见光谱直接成像。因此,基于PSF工程的三维成像技术需要设计一个随深度变化的PSF,其中双螺旋PSF(DH-PSF)随着待成像物体沿轴移动而旋转,可以唯一地编码物体距离,常被应用于快照式深度信息获取中。除此之外,离焦恢复深度技术本质上是使用随深度变化的离焦函数作为系统的三维PSF,结合计算机视觉算法恢复深度信息。超构表面具有多功能性和多物理量调控的特征,在基于PSF工程的三维成像技术中得到初步应用,促进该技术在小型化、大景深、多物理量获取等方面的发展。

2019年,Guo等提出基于共孔径双焦超透镜的离焦深度恢复方法,在单个探测器的不同区域上同时形成2幅不同的离焦图像,实现快照式被动三维成像,如图9(a)所示。口径为3 mm的超透镜实现在10 cm深度测量范围内测量误差低于5%(置信度为0.5),经预校准后的深度恢复算法使用少于700个的浮点运算,可实现实时深度计算。由于超构表面的高频相位不连续,因此超构透镜具备比衍射元件更大的色散。色散在传统成像设计中会影响成像质量难以消除,但在计算成像体系中,色散设计引入了波长编码PSF的另一个物理维度。2021年,Tan等提出基于超透镜极端色散实现三维彩色图像重建,如图9(b)所示。超透镜R、G、B三个通道具有不同的深度依赖PSF,利用两个卷积神经网络U-Net恢复出深度图和RGB纹理信息,数值模拟展示了口径1 mm的超透镜能够实现0.12~0.6 m的深度信息和彩色纹理信息重建。DH-PSF是常用的深度依赖PSF工程技术,Jin等提出DH-PSF和透镜相位叠加的紧凑型深度定位系统,如图9(c)所示,该技术使用等离子超构表面实现相位叠加功能,相对于传统光学系统减小了元件个数和体积,充分利用超构表面的多功能性实现仪器的小型化,该项研究工作证明了轴上单个物点和轴外双物点的旋转角度和深度的线性关系,在可见光和多种入射偏振状态下实现73.9%的效率。基于该项研究工作,Jin等提出使用介质超表面实现上述功能,并通过计算相机测量图像的功率谱,生成具有深度信息的场景图像,如图9(d)所示。为扩大DH-PSF技术的成像景深,Colburn等提出三次方相位和DH-PSF相位以超构表面空间复用的方式物理实现,如图9(e)所示,能在可见光波段对场景中的深度信息编码为两个互补的PSF,通过三次方相位扩展景深,对捕获数据进行反卷积处理恢复其二维强度图和深度图,测距误差为1.7%。结合超透镜的强大横向色散能力和光场技术,Hua等提出超紧凑快照式光谱光场成像技术,如图9(f)所示,该技术通过光场和色散联合编码不同深度和波长通道的PSF,构建正向成像模型并设计相应的凸优化算法,以48 × 48个口径30 μm的超透镜阵列实现4 nm的光谱分辨能力和30 cm范围的深度成像。

94a9c9d0-39f3-11ee-9e74-dac502259ad0.png

图9 基于超构表面的PSF工程技术用于三维成像

由于超构表面的多物理量调控特性,基于超构表面的PSF工程技术拓宽了传统PSF工程技术的成像维度。超构表面打破了原有相位调控的单一维度,利用偏振、光谱等维度实现多功能选通、调控物理量获取等功能。该技术在不配合主镜的情况下受限于超透镜的设计瓶颈,只能在较小范围内(实验中大致为mm)实现三维成像,配合主镜,可实现成像范围自由配置,能够实现对传统相位元件的完全替代和超越,广泛应用于具有丰富纹理的测量场景中。

结束语

三维成像技术中超构表面的共性限制

超构表面采用平面加工技术,有效地融合了光学和芯片制造技术,为工业应用提供了巨大的优势。相比之下,体三维材料的纳米结构仍然是一个相当大的挑战。尽管3D激光直写等技术正越来越接近100 nm以下的分辨率,但在可见光和近红外环境下工作的体积超材料仍然遥不可及。因此平面超表面主导着研究和应用,但平面化超构元件在三维成像技术中的工程应用依然存在着挑战。实验室用于超构表面制造的许多材料与半导体制造代工厂的行业标准不兼容。因此,将技术转化为可扩展的制造和行业标准通常具有挑战性。例如,金和银等普通等离子体金属与CMOS制造不兼容。介电超表面(通常由硅制成)弥补了这一差距,然而,传统的CMOS芯片制造使用绝缘体上的硅晶圆,但光学超表面需要透明衬底上的硅。最近,Metalenz与意法半导体合作使用极紫外光刻技术。然而,这种制造技术在a- Si层沉积的可重复性、对环境变化的鲁棒性,以及使用玻璃晶圆时的工艺方面仍然存在挑战。另外在可见光和紫外光谱范围内实现其他材料的操作将进一步挑战制造工艺。

三维技术目前大多数应用于可见光和红外波段,在相应波段的微纳结构设计和先进材料等方面也不断取得进步。在设计方面,超构表面近年来取得了巨大的进步,最初的纳米圆柱体微纳结构已经被高性能的逆向设计结构所取代。随着微纳光学应用的扩展,学界正在积极探索不同高折射率介电材料的制备。电介质材料如TiO₂、GaN、SiN和SiC等已经得到研究证明。

最后,可以取代现有光学元件的大面积超构表面的制造并非没有挑战。大多数实验室使用的电子束光刻工具不能大面积制模,深紫外光光刻需要先进的掩模。基于超构表面的结构光技术和TOF技术中均存在零级效应,实验效率低于理论效率,这是加工不完善导致的,因此先进材料、复杂结构、大口径、高精度的超构表面加工技术面临的挑战急需解决。

超构表面在三维成像应用中的性能瓶颈

在基于超构表面的结构光三维成像技术中,受限于超构表面的微纳加工工艺,现有基于超构表面的投影器件具有很大的零级效应,造成能量损耗,不利于人眼安全,为了超构表面投影器件能够快速走向实际应用,这些都是迫切需要解决的问题。另外,超构表面的引入并没有打破基线约束,结构光模块的整体体积还有待压缩,深度方向依赖的编码投影器件有助于打破基线,使整体系统小型化、平面化和高度集成。

TOF技术中:基于TCO的三维成像技术瓶颈在于角度扫描个数较低,需要设计自由度更高的超构表面实现更多的相位模式调制;基于MQW的三维成像技术走向应用需要解决大阵列单独电控元件的加工问题;基于MEMS超构表面的三维成像技术需要解决MEMS和超构表面元件分离带来的机械惯性问题,需从加工方面解决集成问题;基于液晶和相变材料的三维成像技术需要解决帧速的问题。

光场技术中,超构表面作为超透镜阵列展现出优于微透镜阵列的良好性能,在大视场消色差方面仍表现不足,目前在算法上可使用标定解决此问题,但通过逆设计选择合适的结构实现大视场消色差超透镜阵列,将实现超构表面光场技术在三维成像精度上的大幅提升。

PSF工程技术中,超构表面作为相位编码元件和透镜元件的多功能复合元件,展现了其集成系统的优秀能力。但是超构表面仍然面临着口径小导致的工作距离短等问题,在大的成像范围内需解决超构表面口径的加工和设计问题,大口径加工属于上述讨论的共性限制,设计层面来讲,和超透镜阵列类似,超构表面需解决大视场消色差(非光谱调制的系统)设计的基础问题。

基于超构表面的新型三维成像技术挑战

目前基于超构表面的三维成像技术大多依赖于超构器件的小型化和多功能性,成像原理依然停留在传统成像的物理机制中。传统的三维成像系统如结构光和TOF技术,空间分辨率取决于点云投射数量和点云最小尺寸,这些基本的性能限制由于超构元件的引入而有所提升。针对微透镜阵列的光场技术而言,像差的基本限制来源于Snell定律,超透镜的引入可以有效去除球差和部分色差。但是超构表面的物理机制例如超材料的耦合、共振和非线性效应能否打破现有成像机制带来的性能瓶颈,是一个值得研究的课题。

超构表面具有丰富的光场调控自由度,但目前应用于三维成像技术大多是基于相位、偏振、色散调控,每个额外的信息通道都赋予了超构表面从高维数据编码的机会,因此其他通道例如角动量或者角度敏感性等方面存在相当大的潜力。

对于应用于工业4.0、自动驾驶等领域的新型三维技术需要适应复杂的环境例如强光干扰、厚云雾等情境,对于应用于航天观测的三维技术要求系统稳定来解决湍流扰动等工程难题,除此之外还有水下成像等。因此开展超构表面的复杂环境中的成像稳定性研究,能够提高超构表面相对于其他传统元件的核心竞争优势。

这项研究获得国家自然科学基金(62105024)和中国博士后科学基金(2021M690389)的资助和支持。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码器
    +关注

    关注

    41

    文章

    3360

    浏览量

    131539
  • 探测器
    +关注

    关注

    14

    文章

    2439

    浏览量

    72069
  • MEMS技术
    +关注

    关注

    0

    文章

    135

    浏览量

    21010
  • 三维成像
    +关注

    关注

    0

    文章

    30

    浏览量

    11003
  • tof传感器
    +关注

    关注

    2

    文章

    103

    浏览量

    14635

原文标题:综述:基于超构表面的三维成像技术

文章出处:【微信号:MEMSensor,微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    泰来三维|某学校发电风筒三维扫描# 三维扫描建模

    三维扫描
    泰来三维
    发布于 :2024年04月26日 09:48:55

    泰来三维|先临三维扫描仪扫描文物案例分享

    三维扫描仪
    泰来三维
    发布于 :2024年04月18日 16:16:57

    简述面结构光成像

    首先我们来看看结构光成像,它是使用特定的光图案和2D相机来捕获物体表面的三维轮廓的一种成像方法。其原理是将特定的窄带光投影到三维形状物体的
    的头像 发表于 03-05 16:35 244次阅读
    简述面结构光<b class='flag-5'>成像</b>

    COMSOL Multiphysics在材料与表面仿真中的应用

    领域带来了全新的研究方向和应用前景。 COMSOL Multiphysics是一款功能强大的多物理场仿真软件,能够对表面进行精确的仿真分析。通过建立三维模型,并设置相应的物理场参数,可以实现对
    发表于 02-20 09:20

    智慧矿山三维可视化,煤矿开采数字孪生 #数字孪生 #三维可视化

    三维数字孪生
    阿梨是苹果
    发布于 :2023年11月02日 10:06:59

    垃圾焚烧站运行三维动画

    三维动画
    阿梨是苹果
    发布于 :2023年10月30日 10:01:50

    偏振三维成像技术的原理和研究进展

    摘要 :近年来偏振三维成像技术因具有精度高、作用距离远和受杂散光影响小等特点得以蓬勃发展,但利用目标反射光偏振特性进行法向量精确求解的问题一直没有真正得到解决,成为制约该技术发展的瓶颈
    的头像 发表于 10-26 09:50 402次阅读
    偏振<b class='flag-5'>三维</b><b class='flag-5'>成像</b><b class='flag-5'>技术</b>的原理和研究进展

    三维激光切割机需要的宝子们联系我 24小时在线#三维激光切割机#激光切割机#

    三维激光切割
    苏州镭拓激光
    发布于 :2023年10月08日 14:57:55

    基于光学成像的物体三维重建技术研究

    随着计算机科学和数字成像技术的飞速发展,光学成像技术在许多领域中得到了广泛应用,其中之一便是物体三维重建。物体
    的头像 发表于 09-15 09:29 530次阅读
    基于光学<b class='flag-5'>成像</b>的物体<b class='flag-5'>三维</b>重建<b class='flag-5'>技术</b>研究

    圆形管材切割用三维立体激光切割机装配过程#三维立体激光切割机#激光切割机#

    三维激光切割
    苏州镭拓激光
    发布于 :2023年08月29日 16:42:01

    为什么激光共聚焦显微镜成像质量更好?

    结构进行三维形貌重建: 2.快速重建出被测晶圆激光镭射槽的三维轮廓并进行多剖面分析,获取截面的槽道深度与宽度信息: 3.对光学膜表面微结构实现快速自动化测量,提供高度、宽度和角度等一系
    发表于 08-22 15:19

    光学3D表面轮廓仪可以测金属吗?

    测量金属制品的长度、宽度、高度等维度参数。 除了测量金属表面的形状和轮廓外,光学3D表面轮廓仪还可以生成三维点云数据和色彩图像,用于进一步分析和展示: 1、三维点云数据可以用于进行CA
    发表于 08-21 13:41

    共聚焦显微镜如何三维成像

    共聚焦显微镜是一种重要的显微镜技术,它可以提供高分辨率和三维成像能力,对材料科学等领域具有重要意义。三维成像原理由LED光源发出的光束经过一
    的头像 发表于 08-15 10:52 646次阅读
    共聚焦显微镜如何<b class='flag-5'>三维</b><b class='flag-5'>成像</b>

    数字乡村三维可视化,智能化农业管理系统

    三维
    阿梨是苹果
    发布于 :2023年07月06日 09:51:34