基于超表面实时超光谱成像芯片的研究进展

基于空间扫描或波长扫描的传统光谱成像设备体积庞大，无法获取动态的光谱信息。利用超表面可以实现丰富的光谱调制函数，结合计算重建和空分复用方法可以实现高光谱分辨率和空间分辨率的实时光谱成像芯片。

据麦姆斯咨询报道，近期，清华大学电子工程系、北京国家信息科学技术研究中心和北京量子信息科学研究院的科研团队在《光学学报》期刊上发表了以“基于超表面的实时超光谱成像芯片”为主题的文章。该文章第一作者为杨家伟，通讯作者为崔开宇副教授和黄翊东教授。

本文介绍了超表面光谱成像芯片的相关工作进展，给出了超表面光谱成像芯片的光谱成像原理，主要从结构设计、重建算法、实际应用等方面介绍了超表面光谱成像芯片的研究进展，并讨论和展望了其未来的发展趋势和应用前景。根据数据采集方式的不同，还可将光谱成像分为点扫描、线扫描、波长扫描和快照式四类，如图1所示。

图1 光谱成像按采集方式的分类

超表面光谱成像的基本原理

超表面是具有亚波长周期的微纳结构阵列，具有高度灵活的光调控能力。利用超表面可以实现对入射光丰富的频谱调制，结合计算光谱重建原理，可以实现结构紧凑的微型光谱仪，通过阵列化排布可以实现片上光谱成像。

超表面光谱成像芯片的结构示意图如图2（a）所示，芯片由超表面层和下方的CMOS图像传感器组成，超表面层包含多个超表面单元，每个超表面单元都是具有亚波长周期的微纳结构阵列，通过改变超表面单元的结构参数，可以实现不同的光谱调制函数，即不同的透射谱Ti（λ）。入射光经超表面单元调制后被其下方的图像传感器像素所探测，根据若干个光强探测值Ii便可重建得到入射光的光谱f（λ），实现微型光谱仪的作用，工作原理如图2（b）所示。

图2 基于超表面的光谱成像原理：（a）超表面光谱成像芯片的结构示意图，包括超表面层和CMOS图像传感器的两部分；（b）单个超表面微型光谱仪的光谱重建原理；（c）超表面的空分复用原理

对于整个光谱成像芯片而言，在光谱信号测量时，会得到一幅透射强度图，如图2（c）所示。对于任一点而言，可以选取该点附近的任意个测量值进行计算。换言之，可以构建一个任意N形状的超表面光谱仪进行光谱测量，且相邻微型光谱仪间可以共用相同的超表面单元。例如，图2（c）中的1、2、3标记的框图分别表示包含25个、49个、33个超表面单元的微型光谱仪，利用这种空分复用原理可以大大提升光谱成像的空间分辨率。

超表面单元的结构设计

超表面单元的设计目标

为了提高超表面光谱仪的光谱分辨率，需要对测量矩阵进行优化设计。从光谱分辨率的定义出发，结合光谱重建过程，可以确定的优化目标。光谱分辨率一般是指光谱仪所能分辨的两个相邻谱线的最小波长间隔。图3（a）展示了一个微型超表面光谱仪所包含的各个超表面单元的透射谱，当波长为的单色光［图3（a）中的左边的竖线］入射到该超表面光谱仪时，在不考虑测量噪声的情况下，其对应的测量向量即为矩阵的某一列，如图3（b）所示。同理，波长为的单色光［图3（a）中的右边的竖线］入射时，对应的测量向量为矩阵的另一列。因此，要提高超表面光谱仪在某一波长处的分辨率，就要求矩阵的列向量与其他各列的最大相关性尽量小。那么，为了提高超表面光谱仪在整个工作波段的平均光谱分辨能力，本文定义了一个测量矩阵的设计目标，即使的平均最大列相关性尽量小。

图3 超表面单元的设计目标

基于规则形状超表面单元的光谱成像芯片

2022年，本文作者团队基于规则形状的超表面单元研制出国际首款实时超光谱成像芯片。如图4（a）所示，设计的超表面单元分为五种类型：圆孔型、方孔型、十字孔型，以及方孔和十字孔经过45°旋转后得到的图案。这五种类型的图案均满足四重旋转对称性，以保证对应超表面单元在正入射条件下具有偏振无关的光谱调制特性。该款实时超光谱成像芯片将单点光谱仪的尺寸缩小到百微米量级以下，单次拍照可以获得空间中超过15万个点的光谱信息，即在0.5 cm²的芯片上集成了超过15万个（356×436）微型光谱仪，每个微型光谱仪的工作谱宽为450~750 nm，单色光的测量精度（即波长精度）达到0.04 nm，光谱分辨率高达0.8 nm。

图4 国际首款实时超光谱成像芯片及其性能指标

基于自由形状超表面单元的光谱成像芯片

为突破规则形状的设计自由度限制，本文作者团队进一步提出了一种自由形状超原子的超表面设计方法，通过对一个超原子内的区域进行网格划分、格点值随机分配以及滤波和二值化处理来生成自由形状。由于格点值是随机分配的，每次得到的自由形状都不尽相同，相应的设计自由度与规则形状相比扩大了2~3个数量级。得益于超表面参数设计空间的扩大，基于自由形状超原子超表面的超光谱成像芯片的性能有了进一步提升，波长分辨率提升至0.5 nm（见图5）。

图5 基于自由形状超原子超表面的超光谱成像芯片

利用该芯片对24色标准色卡和不同水果进行光谱成像的结果，如图6所示。以空间扫描式的商用光谱相机（四川双利合谱科技有限公司，型号为GaiaField Pro V10）所拍摄的结果作为参考，利用超光谱相机对24种颜色块的平均光谱重建保真度达到98.78%。

图6 基于自由形状超原子超表面的超光谱成像芯片对标准色卡和水果的光谱成像结果

基于神经网络的快速重建算法

超表面光谱成像芯片需要对图像各点通过求解欠定线性方程组进行光谱重建，以得到最终的光谱图像。然而，基于线性方程组的迭代求解算法，无法实现光谱图像的快速重建。此外，在光谱重建时假定了同一超表面光谱仪内各个超表面单元接收的光谱是相同的，但是在图像边缘处这一假设并不成立，因此图像边缘处存在较大的重建误差，导致重建的光谱图像出现马赛克现象。为了实现光谱图像的快速重建，并尽可能消除图像的马赛克现象，本文作者团队提出利用基于乘法器的交替方向法（ADMM）迭代算法的深度展开神经网络ADMM-net实现光谱图像的快速重建。如图7（a）所示，网络由k=12个子网络级联而成，每个子网络称为一个阶段，对应于传统的ADMM迭代算法中的每一步迭代，具体来说，每个阶段都包含线性变换部分W（∙）和卷积神经网络（CNN）降噪部分，分别对应于ADMM迭代算法中的梯度下降和正则化过程。

图7 ADMM-net的基本架构及对标准色卡的重建结果

利用基于自由形状超原子超表面的超光谱成像芯片对标准色卡进行成像测量后，再利用ADMM-net进行光谱图像重建的结果如图7（b）所示。与商用光谱相机的采集结果、传统的利用CVX算法进行逐点光谱重建的结果、采用传统的迭代算法GAP-TV的重建结果和采用端到端神经网络λ-net的重建结果进行对比，可以看到，相比于传统的逐点光谱重建结果，ADMM-net的图像细节重建效果更优，显著消除了图像的马赛克现象。并且，相比于其他三种算法，ADMM-net的光谱重建准确性也更优，对于标准色卡中的四个采样点，其平均光谱重建似然度为99.53%，而CVX、GAP-TV和λ-net对应的平均似然度分别仅为97.32%、97.18%和97.72%。

表1比较了不同算法重建单个光谱图像数据立方的耗时，并以推扫式商用光谱相机的单次数据采集时间为参考。可见，商用光谱相机采集单个数据立方需要1 min左右；而采用ADMM-net和λ-net重建大小为256×256×26的数据立方，在GPU（NVIDIA GeForce RTX 3080）上分别仅需18 ms和95 ms，在CPU（Intel Xeon Gold 6226R）上也分别只需要1.72 s和2.44 s；相比之下，采用传统的迭代算法GAP-TV需要110 s，而CVX进行逐点光谱重建则需要4854 s。由此可见，ADMM-net的计算效率是最高的，其重建速度相比于CVX提升了约5个数量级，能够实现55 frame/s的光谱图像数据立方重建速率，并且可以有效消除重建图像的马赛克现象。

表1 不同光谱成像方法的耗时比较

应用实例

活体大鼠脑光谱成像

光谱成像技术可以应用在脑科学的研究中。在可见光波段550 nm附近，生物体内的血红蛋白及其衍生物具有明显的吸收特征，这会在其光谱的反射信号中出现一个明显的吸收谷。因此，通过光谱成像技术将有可能实现区域血红蛋白浓度的实时观测。在生物学上，通过神经-血氧耦合机制，还可进一步将光谱随时间的变化和神经活动联系在一起，这为脑科学的研究提供了一种全新的方式。与传统电极传感方式不同，光谱成像无须侵入神经细胞附近，可以做到非接触式检测，因而采集到的信息更加可靠。

利用图8（b）所示的光谱相机对大鼠进行实时脑光谱成像，能够测量活体大鼠脑部血红蛋白及其衍生物的特征光谱的动态变化，时间分辨率可达30 Hz。图8（a）是单帧的光谱成像结果，图中标记出了6个区域用于分析血红蛋白的光谱信号。图8（c）中挑选了4个区域并绘制了该区域的光谱信号；其中，区域1和区域2为血管区，区域3和区域4为非血管区；该图中用不同颜色的虚线标记出了氧合血红蛋白（HbO）、碳氧血红蛋白以及去氧血红蛋白（HbR）各自的光谱吸收峰的位置，恢复得到的光谱数据明显含有血红蛋白的吸收特征。图8（d）和8（e）展示了光谱信号的时域变化，图的横坐标为时间，纵坐标为相对光谱强度；在图8（d）即血管区域，HbO和HbR的光谱信号成正相关的关系；在图8（e）即非血管区域，两者成负相关的关系。从理论上分析，在血管区域，血红蛋白的输运过程占主导，因此HbO和HbR的浓度同时增加或减少，两者成正相关的关系；在非血管区域，细胞呼吸过程占据主导，因此HbO中的氧气分子被消耗成为HbR，两者成负相关的关系。理论上的结论和图8（d）和8（e）中的实验结果是保持一致的，这从侧面印证了实时脑光谱成像实验的数据的有效性。

图8 国际首款实时超光谱成像芯片对大鼠的实时脑光谱成像结果

基于光谱成像的人脸防伪

人脸识别系统已得到了越来越广泛的使用，由于其涉及到人民的隐私和财产安全，人脸识别系统的可靠性和安全性引起了越来越广泛的关注，人脸防伪相关的研究也逐渐被重视。现有的高安全性的人脸识别系统一般会使用额外的红外相机和深度相机来获取人脸的三维结构特征以及红外反射特征，提升人脸防伪的性能。这些额外的光学传感器使得现有的人脸识别系统对屏幕回放、二维面具等常见人脸伪装有着极强的鉴别能力，但对三维高仿真硅胶面具的鉴别能力依然有限。并且随着3D打印技术的发展，制作三维高仿真硅胶面具的成本和门槛被降低，给现有人脸识别系统的安全性带来了一定的挑战。为了有效鉴别高仿真面具，需要引入新的传感器来获取有区分度的特征。而光谱是分析物质成分的有效手段，因此光谱相机可被用于高可靠性的人脸防伪，快照式光谱成像芯片则为实时人脸防伪提供了有效的光谱感知信息。利用超表面光谱成像芯片可以实现快照式的光谱人脸防伪，如图9所示，由于人皮肤内血红蛋白的吸收作用，活体皮肤的光谱反射特性在540 nm和580 nm左右有两个特征吸收峰，能够将活体人脸和伪装材料有效地区分，并且超表面光谱相机能够较为准确地重建出此光谱特征。实现的快照式光谱人脸防伪系统首先自动检测出人脸上多个关键点的位置，然后重建出关键点处的光谱特征，最后将光谱特征输入基于神经网络的分类器得到最终的人脸防伪结果。整个系统能够达到实时进行人脸防伪的性能要求，并且识别高仿真面具的准确率可达95%。

图9 活体人脸与常见伪装材料的快照式光谱测量结果

自动驾驶中的同色异谱识别

利用超表面光谱成像芯片结合ADMM-net可以实现实时光谱成像。图10展示了户外驾驶场景的动态光谱成像结果，在8.38 s的时间内，一共采集了300 frame光谱图像，实现了约36 frame/s的光谱成像速率，其中包含了测量图像的采集时间和光谱图像的重建时间。图10给出了其中8 frame的重建结果，从RGB伪彩色图中可以看到，车辆的色彩重建准确性较好；并且，从第20 frame和第100 frame图像中的采样点A和B的重建光谱来看，天空和白色车辆的光谱具有明显的差异，因此通过实时光谱成像可以快速区分颜色相近但光谱不同的物体，有望解决自动驾驶场景的同色异谱识别问题，避免车辆将白色卡车误认为天空而引起交通事故。

图10 户外驾驶场景的实时光谱成像结果

总结与展望

光谱仪和光谱成像器件具有小型化、集成化的发展趋势，微型光谱仪的相关研究也不断增多，其中，基于超表面的计算重建光谱仪能够利用少量的光谱调制单元实现高精度的光谱重建，有效减小了单个微型光谱仪的体积，并且易于大规模集成以实现快照式的光谱成像芯片。本文回顾了基于规则形状超表面单元实现的国际首款实时超光谱成像芯片以及基于自由形状超表面单元的超光谱成像芯片等相关工作，主要从基本原理、结构设计、重建算法和潜在应用等方面对超表面光谱成像芯片的相关研究进行了总结。

在未来，具备高精度、低成本、可量产等优势的超表面光谱成像芯片，将有望成为人工智能和大数据行业发展的基础，为智能手机、医疗器械、机器视觉、增强现实、自动驾驶、智慧城市等应用场景拓展出新的传感维度，真正让光谱感知无处不在。目前超表面光谱成像芯片还可以优化的方向包括：

1）进一步优化光谱图像重建算法。后续可以引入Transformer、3D CNN等新型网络结构，并通过商用光谱相机实际拍摄、数据增强等方式拓展光谱图像数据集，提升光谱图像的重建精度。

2）降低超表面的角度敏感性。超表面为天然的角度敏感型结构，透射谱会随着入射光角度改变，未来需要考虑通过结构优化或引入新的设计理念来实现角度不敏感的透射谱，提高光谱成像的效果。

审核编辑：刘清