0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

片上光学深度神经网络

中科院长春光机所 来源:中科院长春光机所 作者:中科院长春光机所 2022-06-23 14:27 次阅读

从预测文本到医学诊断,人工智能 (AI) 在许多系统中都发挥着重要作用。受人类大脑的启发,许多人工智能系统都是基于人工神经网络实现的。

在人工神经网络中,被称为“神经元”的组件获取输入的数据并进行处理从而解决各种问题,例如识别人脸。神经网络反复调整其神经元之间的联系,随着时间的推移,网络会设定最适合计算结果的参数,从而模仿人脑中的学习过程。通过添加神经层可以扩大网络,如果一个神经网络拥有多层神经元,它就被称为“深度神经网络”。随着层数的增加,该网络以更高分辨率读取更复杂图像中数据的能力也在增强。

目前,经典神经网络实现图像识别是在传统图像传感器上创建的,例如智能手机中的数码相机。图像传感器需要将光先转化为电脉冲,再转换为数字化数据,从而可以使用计算机处理器进行处理、分析、存储和分类。

虽然目前在数字芯片上的消费级图像分类技术每秒可以执行数十亿次计算(GHz),这使得它对于大多数场景来说足够快。但更复杂的图像分类,例如识别高速移动物体、3D 物体识别,或自动驾驶,在实现过程中却面临着许多重大挑战。

首先,传统的数字芯片通常是基于数字时钟的平台来实现,例如图形处理单元(GPU),这将它们的计算速度限制在时钟频率上(<3 GHz)。同时,传统电子设备基于冯诺依曼架构,将内存和处理单元分开,而在这些组件之间来回的数据传输会浪费时间和精力。

其次,原始的模拟图像数据通常需要光电转换为数字电子信号以及需要大内存单元来存储图像和视频,从而引发潜在的隐私问题。

近日,来自宾夕法尼亚大学 Firooz Aflatouni 副教授团队已经在光子微芯片上开发了一种光学深度神经网络 PDNN(photonic deep neural network),消除了传统计算机芯片中的四个主要耗时的罪魁祸首:光电信号的转换,模拟信号到数字信号的转换、大内存模块和基于时钟的计算。

该团队在 9.3 mm²的光子芯片在约 0.5 ns 内实现整个图像分类——这是最理想的数字计算机芯片只能完成一个计算步骤所需的时间。片上网络对手写字母进行了二类和四类分类,准确率分别高于 93.8% 和 89.8%。

该成果发表在Nature,题为“An on-chip photonic deep neural network for image classification”。

片上光学深度神经网络

该新设备标志着第一个完全在集成光子设备上以可扩展方式实现的深度神经网络。在 9.3 mm²的芯片中,线性计算是通过一个 5×6 的光栅耦合器阵列和光学衰减器光学执行的。这些耦合器充当输入像素,输出分为四个重叠的 3×4 像素子图像,并使用纳米光子波导馈入分布在三层的其他九个神经元。线性运算后,各个神经元通过光电子方式的微环调制器的传输特性实现非线性激活函数。

科学家们让他们的微芯片识别手写字母。在一组测试中,它必须将 216 个字母分类为 p 或 d,而在另一组测试中,它必须将 432 个字母分类为 p、d、a 或 t。该芯片的精度分别高于 93.8% 和 89.8%。相比之下,使用 Keras 库在 Python 中实现的 190 个神经元的传统深度神经网络在相同图像上实现了 96% 的准确率。

9439aecc-f2bc-11ec-ba43-dac502259ad0.png

图2:光子深度神经网络芯片执行分类任务的四分类字母样本

图源:宾夕法尼亚大学

更快、更强

由于该芯片可以在光信号上直接进行光速线性处理,所以该芯片可以在 0.5 ns 内完成整个图像分类。该芯片通过“光学传播计算”来处理信息,这意味着与基于时钟的系统不同,计算是光在芯片上传播时发生的。要了解该芯片处理信息的速度,可以对照电影的典型帧速率,一部电影通常每秒播放24 到 120 帧,而该芯片每秒能够处理近 20 亿帧。

此工作也跳过了将光信号转换为电信号的步骤,因为该芯片可以直接读取和处理光信号,不需要存储信息,无需大内存单元。

这两项变化都使其成为一种更快的技术。

消除内存模块还可以增强数据隐私,使用直接读取图像数据的芯片,不需要照片存储,因此不会发生数据泄漏。通过加速图像分类,片上深度神经网络可以改善自动驾驶汽车中的人脸识别和激光雷达传感等应用。

一个以光速读取信息并提供更高程度网络安全的芯片无疑会在许多领域产生影响;这是过去几年对这项技术的研究不断增加的原因之一。

该项研究的下一步将提升芯片的可扩展性,处理三维图像分类的工作,使用具有更多像素和神经元的更大芯片对更高分辨率的图像进行处理。此外,不仅限于图像和视频分类,任何可以转换为光域的信号,例如音频和语音,都可以使用这项技术进行几乎瞬时的分类处理。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4538

    浏览量

    98425
  • 人工智能
    +关注

    关注

    1773

    文章

    43356

    浏览量

    230126
  • 光子芯片
    +关注

    关注

    3

    文章

    87

    浏览量

    24262

原文标题:Nature | 每秒可处理近20亿张图的光子芯片

文章出处:【微信号:cas-ciomp,微信公众号:中科院长春光机所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    详解深度学习、神经网络与卷积神经网络的应用

    在如今的网络时代,错综复杂的大数据和网络环境,让传统信息处理理论、人工智能与人工神经网络都面临巨大的挑战。近些年,深度学习逐渐走进人们的视线,通过
    的头像 发表于 01-11 10:51 625次阅读
    详解<b class='flag-5'>深度</b>学习、<b class='flag-5'>神经网络</b>与卷积<b class='flag-5'>神经网络</b>的应用

    浅析深度神经网络压缩与加速技术

    深度神经网络深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似
    的头像 发表于 10-11 09:14 368次阅读
    浅析<b class='flag-5'>深度</b><b class='flag-5'>神经网络</b>压缩与加速技术

    深度学习的神经网络架构解析

    感知器是所有神经网络中最基本的,也是更复杂的神经网络的基本组成部分。它只连接一个输入神经元和一个输出神经元。
    发表于 08-31 16:55 691次阅读
    <b class='flag-5'>深度</b>学习的<b class='flag-5'>神经网络</b>架构解析

    卷积神经网络深度神经网络的优缺点 卷积神经网络深度神经网络的区别

    深度神经网络是一种基于神经网络的机器学习算法,其主要特点是由多层神经元构成,可以根据数据自动调整神经元之间的权重,从而实现对大规模数据进行预
    发表于 08-21 17:07 1951次阅读

    卷积神经网络的介绍 什么是卷积神经网络算法

    深度学习算法。CNN模型最早被提出是为了处理图像,其模型结构中包含卷积层、池化层和全连接层等关键技术,经过多个卷积层和池化层的处理,CNN可以提取出图像中的特征信息,从而对图像进行分类。 一、卷积神经网络算法 卷积神经网络算法
    的头像 发表于 08-21 16:49 1279次阅读

    卷积神经网络的基本原理 卷积神经网络发展 卷积神经网络三大特点

    卷积神经网络的基本原理 卷积神经网络发展历程 卷积神经网络三大特点  卷积神经网络的基本原理 卷积神经网络(Convolutional Ne
    的头像 发表于 08-21 16:49 1267次阅读

    卷积神经网络计算公式

    神经网络计算公式 神经网络是一种类似于人脑的神经系统的计算模型,它是一种可以用来进行模式识别、分类、预测等任务的强大工具。在深度学习领域,深度
    的头像 发表于 08-21 16:49 1036次阅读

    卷积神经网络三大特点

    卷积神经网络三大特点  卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,其具有三大特点:局部感知、参数共享和下采样。 一、局部感知 卷积神经
    的头像 发表于 08-21 16:49 3115次阅读

    卷积神经网络的工作原理 卷积神经网络通俗解释

    卷积神经网络的工作原理 卷积神经网络通俗解释  卷积神经网络(Convolutional Neural Network, CNN)是一种众所周知的深度学习算法,是人工智能领域中最受欢迎
    的头像 发表于 08-21 16:49 2291次阅读

    卷积神经网络概述 卷积神经网络的特点 cnn卷积神经网络的优点

    卷积神经网络概述 卷积神经网络的特点 cnn卷积神经网络的优点  卷积神经网络(Convolutional neural network,CNN)是一种基于
    的头像 发表于 08-21 16:41 1704次阅读

    卷积神经网络原理:卷积神经网络模型和卷积神经网络算法

    卷积神经网络原理:卷积神经网络模型和卷积神经网络算法 卷积神经网络(Convolutional Neural Network,CNN)是一种基于深度
    的头像 发表于 08-17 16:30 836次阅读

    PyTorch教程10.3之深度递归神经网络

    电子发烧友网站提供《PyTorch教程10.3之深度递归神经网络.pdf》资料免费下载
    发表于 06-05 15:12 0次下载
    PyTorch教程10.3之<b class='flag-5'>深度</b>递归<b class='flag-5'>神经网络</b>

    浅析三种主流深度神经网络

    来源:青榴实验室1、引子深度神经网络(DNNs)最近在图像分类或语音识别等复杂机器学习任务中表现出的优异性能令人印象深刻。在本文中,我们将了解深度神经网络的基础知识和三个最流行
    的头像 发表于 05-17 09:59 964次阅读
    浅析三种主流<b class='flag-5'>深度</b><b class='flag-5'>神经网络</b>

    浅析三种主流深度神经网络

    来源:青榴实验室 1、引子 深度神经网络(DNNs)最近在图像分类或语音识别等复杂机器学习任务中表现出的优异性能令人印象深刻。 在本文中,我们将了解深度神经网络的基础知识和三个最流行
    的头像 发表于 05-15 14:20 554次阅读
    浅析三种主流<b class='flag-5'>深度</b><b class='flag-5'>神经网络</b>

    三个最流行神经网络

    在本文中,我们将了解深度神经网络的基础知识和三个最流行神经网络:多层神经网络(MLP),卷积神经网络(CNN)和递归
    发表于 05-15 14:19 1105次阅读
    三个最流行<b class='flag-5'>神经网络</b>