研究人员利用人工智能提升超透镜相机的图像质量

研究人员利用深度学习技术提高了直接集成在 CMOS 成像芯片上的超透镜相机(左)的图像质量。超透镜利用 1000 纳米高的圆柱形氮化硅纳米柱阵列(右图)操纵光线。

研究人员利用深度学习技术提高了超透镜相机的图像质量。这种新方法利用人工智能将低质量图像转化为高质量图像，从而使这些相机可以用于多种成像任务，包括复杂的显微镜应用和移动设备。

超透镜是一种超薄光学器件，通常只有几毫米厚--利用纳米结构来操纵光线。虽然它们的小尺寸有可能使相机变得非常紧凑和轻便，而无需传统的光学镜片，但使用这些光学元件一直很难达到必要的图像质量。

来自中国东南大学的研究团队负责人Ji Chen说：“我们的技术使我们基于超透镜的设备能够克服图像质量的限制。这一进步将在未来高便携性消费成像电子产品的发展中发挥重要作用，也可用于显微镜等专业成像应用。”

在《光学快报》(Optics Letters)杂志上，研究人员介绍了他们如何使用一种被称为多尺度卷积神经网络的机器学习，来改善小型相机(约 3 厘米×3 厘米×0.5 厘米)图像的分辨率、对比度和失真度。

Chen说："超透镜集成相机可以直接集成到智能手机的成像模块中，取代传统的折射体透镜。"它们还可用于无人机等设备，体积小、重量轻的摄像头既能保证成像质量，又不会影响无人机的机动性。"

提高图像质量

新工作中使用的相机是研究人员之前开发的，它使用了一种带有1000纳米高的圆柱形氮化硅纳米柱的超透镜(metalens)。超透镜可将光线直接聚焦到 CMOS 成像传感器上，而无需其他光学元件。

虽然这种设计创造出了一个非常小的摄像头，但紧凑的结构却限制了图像质量。因此，研究人员决定看看能否利用机器学习来改善图像。

深度学习是机器学习的一种，它使用多层人工神经网络自动学习数据特征，并做出复杂的决策或预测。研究人员采用这种方法，使用卷积成像模型生成大量高质量和低质量的图像对。这些图像对被用来训练多尺度卷积神经网络，使其能够识别每种类型图像的特征，并利用这些特征将低质量图像转化为高质量图像。

Chen说：“这项工作的一个关键部分是开发一种方法，生成神经网络学习过程所需的大量训练数据。一旦训练完成，低质量图像就可以从设备发送到神经网络进行处理，并立即获得高质量的成像结果。”

图片显示了四幅测试图像的地面实况、低质量图像和神经网络输出结果的对比。第一行代表模拟结果，第二行代表实验结果。蓝色、红色和黄色方框表示图像中的细节特写。

应用神经网络

为了验证新的深度学习技术，研究人员将其用于 100 张测试图像。他们分析了两个常用的图像处理指标：峰值信噪比和结构相似性指数。

他们发现，经过神经网络处理的图像在这两个指标上都有显著改善。他们还表明，这种方法可以快速生成高质量的成像数据，这些数据与通过实验直接捕捉到的数据非常相似。

研究人员目前正在设计具有复杂功能的超透镜，如彩色或广角成像，并开发神经网络方法来提高这些先进超透镜的成像质量。要使这项技术实用于商业应用，需要采用新的组装技术，将超透镜集成到智能手机成像模块中，还需要专门为手机设计的图像质量增强软件。

Chen说：“超轻超薄的超透镜是未来成像和检测的革命性技术。利用深度学习技术优化超透镜性能标志着一个关键的发展轨迹。我们预见机器学习是推动光子学研究的重要趋势。”

审核编辑 黄宇