利用神经纳米光学技术实现盐粒大小的照相机

来自普林斯顿和华盛顿大学的一组研究人员创造了一种新的照相机，捕捉到的图像和测量结果只有一个粗粒盐大小的半毫米。

发表在 Nature Communications， 上的新的 研究 概述了使用光学超表面和机器学习来产生高质量的彩色图像，具有广阔的视野。该设备可用于从机器人到医疗领域的各个行业，以帮助疾病诊断。

光学超表面依赖于一种新的光操纵方法，使用设置在小正方形表面上的圆柱柱。这些柱子的几何形状不同，其工作原理类似于天线，可以捕获入射光子（电磁辐射波）。然后，这些波作为信号从元表面发送到计算机，以解释并生成图像。

图 1 传统透镜与神经纳米光学的比较。由普林斯顿计算成像实验室提供。

微型摄像机在医学上有着巨大的应用潜力，从脑成像到微创内窥镜。但是，到目前为止，这项技术已经用有限的视野捕捉到模糊、扭曲的图像。

研究人员采用神经纳米光学技术，将光学超表面与基于神经特征的图像重建相结合，以解释数据并生成更高质量的图像。

“为了从测量数据中恢复图像，我们提出了一种基于特征的反卷积方法，该方法采用可微逆滤波器和神经网络进行特征提取和细化，”资深作者、普林斯顿大学计算机科学助理教授 Felix Heide 说。

该团队使用模拟器测试了机器学习算法，比较了天线的不同配置。由于光学表面上有 160 万个圆柱体和复杂的光相互作用，模拟需要大量内存。

使用 cuDNN – 加速 TensorFlow 深度学习框架和 查看 P100 GPU 对算法进行测试和训练。结果是一个新的系统能够从一个小 50 万倍的设备上产生与现代相机镜头相当的图像。根据这项研究，这种新相机在过滤错误方面也比以前的技术好 10 倍。

计算机科学博士 Ethan Tseng 说：“设计和配置这些微小的微结构以满足您的需求是一个挑战。”。普林斯顿大学的学生和该研究的共同负责人在 press release 中说。“对于这个拍摄大视场 RGB 图像的特殊任务来说，这是一个挑战，因为有数以百万计的小微结构，而且不清楚如何以最佳方式设计它们。”

该团队目前正在努力为相机增加更多的计算能力，并在未来的迭代中设想目标检测和医学或机器人传感器等功能。除此之外，他们还看到了一个超小型成像仪将表面变成传感器的用例。

Heide 说：“我们可以将单个表面变成超高分辨率的摄像头。这样，你就不再需要在手机背面安装三个摄像头，但整个手机背面将变成一个巨大的摄像头。我们可以在未来想出完全不同的方式来构建设备。”。

关于作者

Michelle Horton 是 NVIDIA 的高级开发人员通信经理，拥有通信经理和科学作家的背景。她在 NVIDIA 为开发者博客撰文，重点介绍了开发者使用 NVIDIA 技术的多种方式。

审核编辑：郭婷