片上光学深度神经网络

从预测文本到医学诊断，人工智能 (AI) 在许多系统中都发挥着重要作用。受人类大脑的启发，许多人工智能系统都是基于人工神经网络实现的。

在人工神经网络中，被称为“神经元”的组件获取输入的数据并进行处理从而解决各种问题，例如识别人脸。神经网络反复调整其神经元之间的联系，随着时间的推移，网络会设定最适合计算结果的参数，从而模仿人脑中的学习过程。通过添加神经层可以扩大网络，如果一个神经网络拥有多层神经元，它就被称为“深度神经网络”。随着层数的增加，该网络以更高分辨率读取更复杂图像中数据的能力也在增强。

目前，经典神经网络实现图像识别是在传统图像传感器上创建的，例如智能手机中的数码相机。图像传感器需要将光先转化为电脉冲，再转换为数字化数据，从而可以使用计算机处理器进行处理、分析、存储和分类。

虽然目前在数字芯片上的消费级图像分类技术每秒可以执行数十亿次计算(GHz)，这使得它对于大多数场景来说足够快。但更复杂的图像分类，例如识别高速移动物体、3D 物体识别，或自动驾驶，在实现过程中却面临着许多重大挑战。

首先，传统的数字芯片通常是基于数字时钟的平台来实现，例如图形处理单元(GPU)，这将它们的计算速度限制在时钟频率上(<3 GHz)。同时，传统电子设备基于冯诺依曼架构，将内存和处理单元分开，而在这些组件之间来回的数据传输会浪费时间和精力。

其次，原始的模拟图像数据通常需要光电转换为数字电子信号以及需要大内存单元来存储图像和视频，从而引发潜在的隐私问题。

近日，来自宾夕法尼亚大学 Firooz Aflatouni 副教授团队已经在光子微芯片上开发了一种光学深度神经网络 PDNN（photonic deep neural network），消除了传统计算机芯片中的四个主要耗时的罪魁祸首：光电信号的转换，模拟信号到数字信号的转换、大内存模块和基于时钟的计算。

该团队在 9.3 mm²的光子芯片在约 0.5 ns 内实现整个图像分类——这是最理想的数字计算机芯片只能完成一个计算步骤所需的时间。片上网络对手写字母进行了二类和四类分类，准确率分别高于 93.8% 和 89.8%。

该成果发表在Nature，题为“An on-chip photonic deep neural network for image classification”。

片上光学深度神经网络

该新设备标志着第一个完全在集成光子设备上以可扩展方式实现的深度神经网络。在 9.3 mm²的芯片中，线性计算是通过一个 5×6 的光栅耦合器阵列和光学衰减器光学执行的。这些耦合器充当输入像素，输出分为四个重叠的 3×4 像素子图像，并使用纳米光子波导馈入分布在三层的其他九个神经元。线性运算后，各个神经元通过光电子方式的微环调制器的传输特性实现非线性激活函数。

科学家们让他们的微芯片识别手写字母。在一组测试中，它必须将 216 个字母分类为 p 或 d，而在另一组测试中，它必须将 432 个字母分类为 p、d、a 或 t。该芯片的精度分别高于 93.8% 和 89.8%。相比之下，使用 Keras 库在 Python 中实现的 190 个神经元的传统深度神经网络在相同图像上实现了 96% 的准确率。

图2：光子深度神经网络芯片执行分类任务的四分类字母样本

图源：宾夕法尼亚大学

更快、更强

由于该芯片可以在光信号上直接进行光速线性处理，所以该芯片可以在 0.5 ns 内完成整个图像分类。该芯片通过“光学传播计算”来处理信息，这意味着与基于时钟的系统不同，计算是光在芯片上传播时发生的。要了解该芯片处理信息的速度，可以对照电影的典型帧速率，一部电影通常每秒播放24 到 120 帧，而该芯片每秒能够处理近 20 亿帧。

此工作也跳过了将光信号转换为电信号的步骤，因为该芯片可以直接读取和处理光信号，不需要存储信息，无需大内存单元。

这两项变化都使其成为一种更快的技术。

消除内存模块还可以增强数据隐私，使用直接读取图像数据的芯片，不需要照片存储，因此不会发生数据泄漏。通过加速图像分类，片上深度神经网络可以改善自动驾驶汽车中的人脸识别和激光雷达传感等应用。

一个以光速读取信息并提供更高程度网络安全的芯片无疑会在许多领域产生影响；这是过去几年对这项技术的研究不断增加的原因之一。

该项研究的下一步将提升芯片的可扩展性，处理三维图像分类的工作，使用具有更多像素和神经元的更大芯片对更高分辨率的图像进行处理。此外，不仅限于图像和视频分类，任何可以转换为光域的信号，例如音频和语音，都可以使用这项技术进行几乎瞬时的分类处理。

审核编辑 ：李倩