还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

片上光学深度神经网络

中科院长春光机所 来源:中科院长春光机所 作者:中科院长春光机所 2022-06-23 14:27 次阅读

从预测文本到医学诊断,人工智能 (AI) 在许多系统中都发挥着重要作用。受人类大脑的启发,许多人工智能系统都是基于人工神经网络实现的。

在人工神经网络中,被称为“神经元”的组件获取输入的数据并进行处理从而解决各种问题,例如识别人脸。神经网络反复调整其神经元之间的联系,随着时间的推移,网络会设定最适合计算结果的参数,从而模仿人脑中的学习过程。通过添加神经层可以扩大网络,如果一个神经网络拥有多层神经元,它就被称为“深度神经网络”。随着层数的增加,该网络以更高分辨率读取更复杂图像中数据的能力也在增强。

目前,经典神经网络实现图像识别是在传统图像传感器上创建的,例如智能手机中的数码相机。图像传感器需要将光先转化为电脉冲,再转换为数字化数据,从而可以使用计算机处理器进行处理、分析、存储和分类。

虽然目前在数字芯片上的消费级图像分类技术每秒可以执行数十亿次计算(GHz),这使得它对于大多数场景来说足够快。但更复杂的图像分类,例如识别高速移动物体、3D 物体识别,或自动驾驶,在实现过程中却面临着许多重大挑战。

首先,传统的数字芯片通常是基于数字时钟的平台来实现,例如图形处理单元(GPU),这将它们的计算速度限制在时钟频率上(<3 GHz)。同时,传统电子设备基于冯诺依曼架构,将内存和处理单元分开,而在这些组件之间来回的数据传输会浪费时间和精力。

其次,原始的模拟图像数据通常需要光电转换为数字电子信号以及需要大内存单元来存储图像和视频,从而引发潜在的隐私问题。

近日,来自宾夕法尼亚大学 Firooz Aflatouni 副教授团队已经在光子微芯片上开发了一种光学深度神经网络 PDNN(photonic deep neural network),消除了传统计算机芯片中的四个主要耗时的罪魁祸首:光电信号的转换,模拟信号到数字信号的转换、大内存模块和基于时钟的计算。

该团队在 9.3 mm²的光子芯片在约 0.5 ns 内实现整个图像分类——这是最理想的数字计算机芯片只能完成一个计算步骤所需的时间。片上网络对手写字母进行了二类和四类分类,准确率分别高于 93.8% 和 89.8%。

该成果发表在Nature,题为“An on-chip photonic deep neural network for image classification”。

片上光学深度神经网络

该新设备标志着第一个完全在集成光子设备上以可扩展方式实现的深度神经网络。在 9.3 mm²的芯片中,线性计算是通过一个 5×6 的光栅耦合器阵列和光学衰减器光学执行的。这些耦合器充当输入像素,输出分为四个重叠的 3×4 像素子图像,并使用纳米光子波导馈入分布在三层的其他九个神经元。线性运算后,各个神经元通过光电子方式的微环调制器的传输特性实现非线性激活函数。

科学家们让他们的微芯片识别手写字母。在一组测试中,它必须将 216 个字母分类为 p 或 d,而在另一组测试中,它必须将 432 个字母分类为 p、d、a 或 t。该芯片的精度分别高于 93.8% 和 89.8%。相比之下,使用 Keras 库在 Python 中实现的 190 个神经元的传统深度神经网络在相同图像上实现了 96% 的准确率。

9439aecc-f2bc-11ec-ba43-dac502259ad0.png

图2:光子深度神经网络芯片执行分类任务的四分类字母样本

图源:宾夕法尼亚大学

更快、更强

由于该芯片可以在光信号上直接进行光速线性处理,所以该芯片可以在 0.5 ns 内完成整个图像分类。该芯片通过“光学传播计算”来处理信息,这意味着与基于时钟的系统不同,计算是光在芯片上传播时发生的。要了解该芯片处理信息的速度,可以对照电影的典型帧速率,一部电影通常每秒播放24 到 120 帧,而该芯片每秒能够处理近 20 亿帧。

此工作也跳过了将光信号转换为电信号的步骤,因为该芯片可以直接读取和处理光信号,不需要存储信息,无需大内存单元。

这两项变化都使其成为一种更快的技术。

消除内存模块还可以增强数据隐私,使用直接读取图像数据的芯片,不需要照片存储,因此不会发生数据泄漏。通过加速图像分类,片上深度神经网络可以改善自动驾驶汽车中的人脸识别激光雷达传感等应用。

一个以光速读取信息并提供更高程度网络安全的芯片无疑会在许多领域产生影响;这是过去几年对这项技术的研究不断增加的原因之一。

该项研究的下一步将提升芯片的可扩展性,处理三维图像分类的工作,使用具有更多像素和神经元的更大芯片对更高分辨率的图像进行处理。此外,不仅限于图像和视频分类,任何可以转换为光域的信号,例如音频和语音,都可以使用这项技术进行几乎瞬时的分类处理。

审核编辑 :李倩

  • 神经网络
    +关注

    关注

    42

    文章

    3562

    浏览量

    91541
  • 人工智能
    +关注

    关注

    1561

    文章

    36388

    浏览量

    216710
  • 光子芯片
    +关注

    关注

    3

    文章

    41

    浏览量

    22708
收藏 人收藏

    评论

    相关推荐

    AI GPU计算在工厂车间提供数据中心性能

    用于自动检测的 AI GPU 计算改变了质量控制操作、运行复杂的视觉算法并整合了工作负载。
    发表于 08-12 16:01 7次 阅读

    人工智能改变汽车设计挑战

    随着变化的迅速到来,汽车设计师需要采用新方法
    的头像 莫联雪 发表于 08-12 15:35 53次 阅读
    人工智能改变汽车设计挑战

    深度学习技术在图像处理领域的主要应用

    对比可知,数据增强的实质是在未改变原始图像特征内容的基础上(例如上图中的关键对象:猫、铁笼、食物)对....
    的头像 倩倩 发表于 08-12 15:17 37次 阅读

    医学影像中值得关注的五种人工智能技术趋势

    人工智能公司不断改进和训练他们的算法,以改进医学诊断成像中的疾病检测。
    发表于 08-12 15:13 31次 阅读
    医学影像中值得关注的五种人工智能技术趋势

    大华视觉智能实景感知应用助力产业数智化升级创新

    大华股份研发中心副总裁李广义应邀出席大会,与现场众多专家、行业翘楚共同研讨新一代信息技术在诸多领域的....
    的头像 大华股份 发表于 08-12 13:42 118次 阅读

    机器学习更接近您附近的微控制器

    广泛应用于基于云的人工智能,机器学习即将开始出现在微处理器和微控制器硬件中
    发表于 08-12 12:00 0次 阅读
    机器学习更接近您附近的微控制器

    传感器和换能器与人工智能和雾计算融合

    为物联网、自动驾驶汽车、可穿戴设备和工业开发越来越智能的传感器带来了更好的设备,以及使用人工智能和雾....
    发表于 08-12 11:37 26次 阅读
    传感器和换能器与人工智能和雾计算融合

    基于目标域的域自适应类型

    域适应是计算机视觉的一个领域,我们的目标是在源数据集上训练一个神经网络,并确保在显著不同于源数据集的....
    的头像 新机器视觉 发表于 08-12 10:25 23次 阅读

    昇腾产业生态助推“北方算谷”数字经济发展腾飞

    “北方算谷”启幕暨沈阳人工智能计算中心上线并网仪式在辽宁省沈阳市浑南区举行。作为东北地区目前接入中国....
    的头像 华为计算 发表于 08-12 10:04 83次 阅读

    瑞为智慧机场解决方案覆盖全国2/3的千万级机场

    扎根租住行业的7年,深圳市优电智能有限公司(以下简称“优电智能”)的创始团队对这句话的理解应该更加深....
    的头像 瑞为技术Reconova 发表于 08-12 09:02 102次 阅读

    人工智能驱动、计算就绪的医疗平板电脑

    凭借安全设计理念,WMP-24K/22K/19K 还可配备 4KV 隔离 COM / LAN / U....
    的头像 星星科技指导员 发表于 08-11 16:17 211次 阅读

    人工智能注定要成为新的人工智能领先制造商吗?

    通用人工智能 (AGI) 是人造机器的概念,它可以模拟人类大脑的大规模复杂内部运作。如果没有真正的生....
    发表于 08-11 15:40 47次 阅读

    传感器在工业4.0预测性维护中的应用

    作为工业 4.0 的重要组成部分,本地决策系统在设备内或附近收集传感器数据,以此为依据做出正确判断,....
    的头像 十亿少男的梦 发表于 08-11 15:26 216次 阅读
    传感器在工业4.0预测性维护中的应用

    音频处理器拥有四个内核来支持支持语音的设计

    Knowles 的新音频处理器具有四个异构内核和 5.7 MB 共享内存,适用于手机、耳戴式可穿戴设....
    的头像 李猛 发表于 08-11 14:30 70次 阅读

    燧原科技发布基于OAI的E级液冷人工智能系统解决方案

    8月10日第四届OCP China Day 2022在北京召开,燧原科技与OCP Foundatio....
    的头像 燧原科技Enflame 发表于 08-11 14:08 197次 阅读

    17个机器学习的常用算法

    根据数据类型的不同,对一个问题的建模有不同的方式。在机器学习或者人工智能领域,人们首先会考虑算法的学....
    的头像 恬静简朴1 发表于 08-11 11:20 66次 阅读

    人类视觉和机器视觉到底有多大的相似性

    深度神经网络(DNNs)已经在人工智能领域取得了极大的成功,它们以图像识别、自动化机器翻译、精确医疗....
    发表于 08-11 11:03 103次 阅读

    嵌入式运动控制实现运动控制系统的微型化

     这种趋势所支持的其他应用程序包括3D打印和面向消费者的物联网设备。后者包括连接的家庭设备,如智能家....
    的头像 zlw_liang 发表于 08-11 10:38 98次 阅读
    嵌入式运动控制实现运动控制系统的微型化

    普渡机器人“葫芦”入驻波兰 带给顾客全新的消费体验

    继普渡机器人与波兰壳牌、必胜客等达成合作,波兰又一家披萨品牌连锁店Da Grasso也引入了普渡机器....
    发表于 08-11 10:26 95次 阅读

    禾赛与一清达成战略合作布局自动驾驶全生态

    一清创始人、董事长刘明表示:“一清创新始终致力于打造安全、稳定、可量产的无人驾驶整车,涵盖工业物流、....
    发表于 08-11 10:23 92次 阅读

    下一代人工智能基础设施的特征

    自动驾驶领域在近两年被大家所熟悉,主要的市场诱导因素是Tesla在辅助智能驾驶和采用全视觉技术的影子....
    发表于 08-11 10:02 64次 阅读

    华为机器视觉产业生态合作进入3.0时代

    2022年8月9日,智能视觉产业联盟第四次会议在延安召开。智能视觉产业联盟理事长段爱国、秘书长刘俊梅....
    的头像 华为机器视觉 发表于 08-11 09:57 231次 阅读

    零距离了解昇腾AI的软硬件能力

    旅行中的我们,总是在看一些关于过去的东西,比如自然的造化,历史的遗存。但或许你也会偶尔有个想法,想在....
    的头像 华为数字中国 发表于 08-11 09:54 285次 阅读

    沈阳人工智能计算中心正式上线并网

    “北方算谷”启幕暨沈阳人工智能计算中心上线并网仪式在辽宁省沈阳市浑南区举行。作为东北地区目前接入中国....
    发表于 08-11 09:52 44次 阅读

    机器视觉系统的新市场包括哪些

    机器视觉 (MV) 和人工智能 (AI) 为各类前沿应用程序提供了宝贵的检测和分析功能。与所有先进技....
    的头像 新机器视觉 发表于 08-11 09:44 253次 阅读

    中国人工智能核心产业规模超过4000亿元

    中国人工智能与实际经济融合进展明显,比如,在智能制造领域智能技术的应用极大提升了产品检测效率和设备利....
    发表于 08-11 09:22 72次 阅读

    成都、安徽等地加强人工智能产业发展,力争2025年进入国内第一梯队!

    电子发烧友网报道(文/李弯弯)人工智能是引领新一轮科技革命和产业革命的战略性技术,各国对人工智能产业....
    的头像 Carol Li 发表于 08-11 08:27 475次 阅读
    成都、安徽等地加强人工智能产业发展,力争2025年进入国内第一梯队!

    长寿命远程无线传感器的关键

      相比之下,工业级锂离子电池可以运行长达 20 年和 5,000 次完整充电循环,具有更大的温度范....
    的头像 星星科技指导员 发表于 08-10 17:16 89次 阅读

    人工智能的高峰和限制

    第一个高峰来源于人工智能概念的确立、以及符号主义算法的发展;第二个高峰来源于感知机、BP 网络、专家....
    的头像 city_prolove 发表于 08-10 15:00 75次 阅读

    Transformer的出现让专用AI芯片变得岌岌可危

    AI芯片的关键参数除了算力,还有芯片利用率或者叫模型利用率。AI芯片的算力只是峰值理论算力,实际算力....
    的头像 佐思汽车研究 发表于 08-10 14:35 124次 阅读

    TDK开发世界上首款内置边缘人工智能的i3微模块

    工厂和生产基地需要防止机器和设备出现异常情况,以最大限度地减少停机时间。生产力可以通过预测问题和率先....
    的头像 TDK中国 发表于 08-10 14:09 116次 阅读

    人工智能代理能否设计出良好的前缀图

    芯片设计的风险很高,研究人员一直在努力朝着更优化的设计迈进。随着我们转向小芯片设计,所有小芯片都需要....
    发表于 08-10 11:33 47次 阅读

    如果在TensorFlow中构建3D-CNN数据集

      在图像中,矩阵中的每个位置代表图像中的一个像素,每个位置的值代表该像素的值。像素值可以是 8 位....
    的头像 city_prolove 发表于 08-10 11:31 114次 阅读

    英特尔形成深度融合匹配的整体解决方案 推动通信产业发展

    身处不断数字化的世界中,我们需要更加高效灵活的计算来处理日益复杂多样的数据,这对半导体技术的创新提出....
    的头像 city_prolove 发表于 08-10 11:28 203次 阅读

    什么是高斯过程 神经网络高斯过程解析

    神经网络是怎么和高斯过程联系在一起的呢?Lee et al. [1] and Neal [2] 指出....
    发表于 08-10 11:25 38次 阅读

    用于3D点云形状分析的跨模态知识迁移统一架构的构建

    图 1 提出的 MV-V2GD 跨模态知识迁移框架的总体流程图,其中包括:一个预训练的基于图像的te....
    的头像 city_prolove 发表于 08-10 11:19 100次 阅读

    沈阳人工智能计算中心正式上线并网投入运行

    【中国,沈阳,2022年8月9日】东北首座人工智能计算中心——沈阳人工智能计算中心(简称“沈阳智算”....
    发表于 08-10 09:53 58次 阅读

    华为和中国卫星应用协会牵头联合成立智能遥感开源生态联盟

    8月9日,以“共绘遥感创新应用新蓝图”为主题的智能遥感开源生态联盟第二次会议在武汉光谷成功举办。本次....
    的头像 华为计算 发表于 08-10 09:51 418次 阅读

    计算机模拟平台如何构建数字孪生大脑

    数字孪生是指充分利用物理模型、传感器、运行历史等数据,集成多学科、多尺度的仿真过程,它作为虚拟空间中....
    的头像 中科曙光 发表于 08-10 09:37 140次 阅读

    带着昇腾去旅行:一日看尽金陵城里的AI胜景

    旅行中的我们,总是在看一些关于过去的东西,比如自然的造化,历史的遗存。但或许你也会偶尔有个想法,想在....
    的头像 脑极体 发表于 08-10 09:32 270次 阅读

    20大专业展区,40余场主题活动!第十届中国电子信息博览会将于8月16日开幕

    近年来,随着云计算、大数据、人工智能、5G等数字技术的发展,人类社会正逐步进入数字经济时代。其中,电....
    的头像 时光流逝最终成了回忆 发表于 08-09 17:02 274次 阅读
    20大专业展区,40余场主题活动!第十届中国电子信息博览会将于8月16日开幕

    “楚·天枢”智能驾驶场景数据方案

    “楚·天枢”智能驾驶场景数据方案能够提供丰富的数据场景库,解决自动驾驶算法验证难题,并提供部分带标注....
    的头像 极目智能 发表于 08-09 11:09 117次 阅读

    卷积神经网络表征可视化研究综述

    近年来, 以深度神经网络(Deep neural networks, DNN)为代表的机器学习方法逐....
    的头像 恬静简朴1 发表于 08-09 10:44 131次 阅读
    卷积神经网络表征可视化研究综述

    工业 4.0对绿色电力的需求

    工业 4.0 的特点是生产具有更大的灵活性以及关键技术的组合和协调,以提供新一代制造所需的灵活性、简....
    的头像 唯爱萌meng 发表于 08-09 10:22 229次 阅读
    工业 4.0对绿色电力的需求

    人工智能可解释性规制面临的问题分析

    在实践中,人工智能的规模化应用推广,在很大程度上依赖于用户能否充分理解、合理信任并且有效管理人工智能....
    的头像 city_prolove 发表于 08-09 10:04 149次 阅读

    基于人工智能的软开关减少损耗以扩展电动汽车的续航里程

    在汽车领域,对电动汽车效率的研究主要集中在电池自主性以及逆变器和电动机的效率上。严格的汽车安全和质量....
    的头像 王秀兰 发表于 08-09 08:02 67次 阅读
    基于人工智能的软开关减少损耗以扩展电动汽车的续航里程

    机器学习中最常见错误解决方案

    近日,软件架构师、数据科学家、Kaggle 大师 Agnis Liukis 撰写了一篇文章,他在文中....
    的头像 新机器视觉 发表于 08-08 16:56 571次 阅读

    基于人工智能的AlphaFold蛋白质破解

    AI是一个能够利用现有的知识预测将来的工具,如果连现有的知识都是缺失状态,自然无法预测新结构。
    的头像 AI芯天下 发表于 08-08 14:14 87次 阅读

    全球首款中文人工智能基建芯片进入可量产阶段

    近日,中文人工智能基建先行者仿脑科技(深圳)有限公司(仿脑科技)接受《中国商报》采访时透露,其自主知....
    的头像 科技见闻网 发表于 08-08 12:59 283次 阅读
    全球首款中文人工智能基建芯片进入可量产阶段

    fifa将采用半自动越位技术计算进球

    科技在各个领域都有用武之地,尤其是在体育运动中。最近,国际足联推出了一种系统,可以在未来的比赛中自动生成越位警报 令一些...
    发表于 08-02 21:36 1889次 阅读

    请问一下fpga加速神经网络为什么要用arm核呢

    请问一下fpga加速神经网络为什么要用arm核呢?用其他的不行吗 ...
    发表于 07-25 14:37 1785次 阅读

    递归神经网络(RNN)

    递归神经网络(RNN) RNN是最强大的模型之一,它使我们能够开发如分类、序列数据标注、生成文本序列(例如预测下一输入词...
    发表于 07-20 09:27 12744次 阅读

    三分钟学习NCNN算法移植

    前言      本文是基于EASY EAI Nano移植NCNN部署库的方法与NCNN成功运行yolov4的Demo所做...
    发表于 07-18 18:21 891次 阅读
    三分钟学习NCNN算法移植

    九联科技Unionpi Tiger开发套件AI人工智能开发板使用说明书

    Unionpi Tiger(A311D)是一款应用于图像处理,音视频处理和深度学习等的智能硬件。其芯片拥有强大的CPU、GPU和神经网络...
    发表于 07-11 18:25 1246次 阅读

    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    ▌STM32中国线上技术周简介 在STM32诞生15周年之际,意法半导体将首次举办 “STM32中国线上技术周”。通过本次线上技...
    发表于 07-05 14:02 5700次 阅读
    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    【Sipeed M2 Dock开发板试用体验】给小车开开天眼

    一.前言 收到Sipeed M2 Dock开发板后,我就在想怎么做一个有趣的小作品,于是我就想到了做一个自动跟随的小车,我的车体采...
    发表于 07-03 23:44 1432次 阅读

    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    ▌STM32中国线上技术周简介 在STM32诞生15周年之际,意法半导体将首次举办 “STM32中国线上技术周”。通过本次线上技术...
    发表于 06-27 09:47 2404次 阅读
    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    基于RK3399 + RK1808的人工智能平台项目实战

    云计算与边缘计算 云计算 端侧仅负责发送输入数据,并接收计算结果 计算资源集中管理和分配,借助服务器的强大性能,可以实现...
    发表于 06-24 17:44 2458次 阅读

    RK1808计算棒Rock-X demo相关资料分享

    1、RK1808人工智能计算棒全平台RockX支持 Rock-X SDK是一组快捷AI组件库,支持RK3399Pro和RK1808平台。开发者仅...
    发表于 06-23 18:11 4328次 阅读