紧凑型相机能以光速识别物体

华盛顿大学教授 Arka Majumdar 和他的学生与普林斯顿大学合作，构建了一种专为计算机视觉设计的新型紧凑型相机。他们的原型(如上图所示)使用光学器件进行计算，显著降低了功耗，并使相机能够以光速识别物体。

协作可以是一件美妙的事情，尤其是当人们共同努力创造出新事物时。以华盛顿大学(UW)电气与计算机工程及物理学教授阿尔卡·马宗达尔(Arka Majumdar)与普林斯顿大学计算机科学助理教授费利克斯·海德(Felix Heide)之间的长期合作为例。

他们与学生们共同完成了一些令人瞩目的研究，包括将相机缩小至盐粒大小，同时仍能捕捉清晰、锐利的图像。

如今，这对搭档正在此基础上继续推进，他们在《科学进展》(Science Advances)期刊上发表了一篇论文，描述了一种为计算机视觉设计的新型紧凑型相机。计算机视觉是一种人工智能技术，使计算机能够识别图像和视频中的物体。

Majumdar 和 Hide 的研究原型利用光学进行计算，显著降低了功耗，并使相机能够以光速识别物体。他们的设备还代表了计算机视觉领域的一种新方法。

Majumdar说：“这是一种全新的光学思维方式，与传统光学截然不同。这是一种端到端的设计，光学与计算模块协同设计。在这里，我们用工程光学取代了相机镜头，这使得我们可以将大量计算任务转移到光学中。”

该论文的主要研究者和资深作者Hide补充道：“这项研究有非常广泛的应用，从自动驾驶汽车、自动驾驶卡车和其他机器人到医疗设备和智能手机。如今，每一部iPhone都内置了人工智能或视觉技术。这项工作仍处于非常早期的阶段，但所有这些应用未来都可能从我们的研究中受益。”

Hide和他在普林斯顿的学生们设计了相机原型，这是一种紧凑的光学计算芯片。Majumdar贡献了他在光学领域的专业知识，帮助设计相机，他和他的学生在华盛顿纳米加工实验室制造了芯片。

这项多机构研究团队的华盛顿大学成员包括华盛顿大学电气与计算机工程系(UW ECE)的博士后学者Johannes Froech和James Whitehead博士，他在研究期间是Majumdar实验室的博士生。

用工程光学元件取代相机镜头

与使用由玻璃或塑料制成的传统相机镜头不同，这种相机的光学系统依赖于50层超透镜(meta-lenses)——一种利用微观纳米结构操控光线的扁平、轻质光学元件。这些超透镜还充当光学神经网络，这是一种基于人脑建模的人工智能计算机系统。

这种独特的方法有几个关键优势。首先，它速度快。由于大部分计算以光速进行，该系统识别和分类图像的速度比使用传统计算机硬件的神经网络快200倍以上，且精度相当。其次，由于相机的光学系统依赖入射光而非电力运行，功耗大大降低。

这款相机中的光学元件不是使用由玻璃或塑料制成的传统相机镜头，而是依赖于 50 个超透镜层——扁平、轻便的光学元件，使用微观纳米结构来纵光线。这些超透镜安装在一个紧凑的光学计算芯片(如上图所示)中，该芯片由 Majumdar 和他的学生在华盛顿纳米制造实验室制造。

Heide说：“我们的想法是利用阿尔卡在超表面(metasurfaces)方面的开创性工作，将传统上由电子完成的部分计算转移到光学中以光速进行。通过这种方式，我们开发了一种新的计算机视觉系统，能够以光学方式完成大量计算。”

Majumdar和Heide表示，他们打算继续合作。这项研究的下一步包括进一步迭代，改进原型，使其更适用于自动驾驶车辆的自主导航。

这是他们共同认为有前景的应用领域。他们还计划处理更复杂的数据集和需要更大计算能力解决的问题，例如目标检测(在图像中定位特定物体)，这是计算机视觉的重要功能。

Majumdar说：“目前，这种光学计算系统是一个研究原型，适用于特定应用。然而，我们预计它最终将广泛应用于许多技术领域。当然，这还有待观察，但在这里，我们展示了第一步。与所有其他现有的神经网络光学实现相比，这是一个巨大的进步。”

审核编辑 黄宇