0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

新研究首次证明在光学芯片上可训练人工智能的能力

IEEE电气电子工程师 来源:IEEE电气电子工程师 2023-05-25 10:57 次阅读

使用光而非电的处理器有望成为实现人工智能的一种更快、更节能的方式。到目前为止,它们只用于运行已经训练过的模型,但新的研究首次证明了在光学芯片上训练人工智能的能力。

随着人工智能模型越来越大,人们越来越担心它们消耗的能量,既是由于不断膨胀的成本,也是对环境的潜在影响。这激发了人们对可以减少人工智能能源费用的新方法的兴趣,其中光子处理器成为了主要候选者。

这些芯片用光子取代了传统处理器中的电子,并使用波导、滤波器和光探测器等光学组件来创建可以执行计算任务的电路。它们在运行人工智能方面特别有前景,因为它们在执行矩阵乘法方面非常高效,这是所有深度学习模型的核心关键计算。总部位于波士顿的Lightmatter和马萨诸塞州剑桥的Lightelligence等公司已经在努力将光子人工智能芯片商业化。

然而,到目前为止,这些设备只用于推理,即已经训练过的人工智能模型对新数据进行预测。这是因为这些芯片一直在努力实现一种用于训练神经网络的关键算法——反向传播。但在《科学》杂志的一篇新论文(https://www.science.org/doi/10.1126/science.ade8450)中,斯坦福大学的一个团队描述了这种训练方法首次在光子芯片上实现。

“我们的实验首次证明了原位反向传播可以训练光子神经网络来解决任务,这为训练神经网络提供了一种新的节能途径,”Sunil Pai说,他在斯坦福大学领导了这项研究,但现在在加州的PsiQuantum工作,该公司正在制造光子量子计算机。

反向传播包括反复将训练示例输入神经网络,并要求其对数据进行预测。每次,算法都会测量预测的偏差,然后通过网络将误差信号反馈回来。这用于调整神经元之间的连接强度或权重,以提高预测性能。这个过程重复多次,直到网络能够解决它所设置的任何任务。

麻省理工学院博士后Charles Roques-Carmes表示,这种方法很难在光子处理器上实现,因为与标准芯片相比,这些设备只能执行有限的操作。因此,计算光子神经网络的权重通常依赖于在传统计算机上芯片外对处理器进行的复杂物理模拟

但在2018年,《科学》上新论文的一些作者提出了一种算法,理论上可以有效地在芯片上执行这一关键步骤。该方案包括将训练数据编码为光信号,使其通过光子神经网络,然后计算输出的误差。然后,该错误信号通过网络反向发送,并对原始输入信号进行光学干扰,其结果告诉您需要如何调整网络连接以改进预测。然而,该方案依赖于通过芯片向前和向后发送光信号,并能够测量通过单个芯片组件的光的强度,这在现有设计中是不可能的。

“This might open the way to fully photonic computing on-chip for applications in AI.”

—Charles Roques-Carmes, MIT

现在,Pai和他的同事已经构建了一种定制的光子芯片,可以成功地实现这种算法。它使用了一种被称为“光子网格”的常见设计,其特点是一组可编程光学元件,控制光信号如何在芯片上分裂。通过使光束相互混合和干涉,芯片能够进行矩阵乘法运算,从而实现光子神经网络。

不过,新芯片的与众不同之处在于,它的两端都有光源和光探测器,允许信号在网络中向前和向后传递。它还在网络中的每个节点上都有小的“抽头”,可以吸走少量的光信号,将其重定向到测量光强度的红外相机。这些变化共同使得实现光学反向传播算法成为可能。研究人员表明,他们可以训练一个简单的神经网络,根据点的位置在图上标记点,准确率高达98%,与传统方法相当。

Pai说,在这种方法变得实用之前,还有很多工作要做。光学抽头和相机对于实验装置来说很好,但需要用商业芯片中的集成光电探测器来取代。Pai表示,他们需要使用相对较高的光功率才能获得良好的性能,这表明在精度和能耗之间需要权衡。

Roques-Carmes说,同样重要的是要认识到斯坦福大学研究人员的系统实际上是一种混合设计。计算成本高昂的矩阵乘法是以光学方式进行的,但被称为非线性激活函数的更简单的计算是以数字方式在芯片外进行的,非线性激活函数决定了每个神经元的输出。目前,这些技术的数字实现成本低廉,光学实现复杂,但Roques-Carmes表示,其他研究人员也在这个问题上取得了进展。

“这项研究是在光子芯片上实现有用的机器学习算法的重要一步,”他说,“将其与目前正在开发的高效片上非线性运算相结合,这可能为人工智能中的全光子片上计算开辟道路。”

审核编辑:彭静

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 探测器
    +关注

    关注

    14

    文章

    2439

    浏览量

    72068
  • 人工智能
    +关注

    关注

    1776

    文章

    43845

    浏览量

    230600
  • 光学芯片
    +关注

    关注

    0

    文章

    16

    浏览量

    3977

原文标题:斯坦福大学团队首次实现光学反向传播里程碑

文章出处:【微信号:IEEE_China,微信公众号:IEEE电气电子工程师】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    5G智能物联网课程之Aidlux下人工智能开发

    案例 14分21秒 https://t.elecfans.com/v/27186.html *附件:引体向上测试案例_20240126.pdf 人工智能 工业检测:芯片模组外观检测实训part1 11分40
    发表于 04-01 10:40

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷嵌入式
    发表于 02-26 10:17

    天数智芯支持智源研究首次完成大模型异构算力混合训练,突破异构算力束缚

    11 月 29 日,北京智源人工智能研究院副院长兼总工程师林咏华在 2023 人工智能计算大会上宣布,正式开源 700 亿参数大模型 Aquila2-70B-Expr (异构先驱版), 这是首个
    的头像 发表于 11-30 13:10 1096次阅读
    天数智芯支持智源<b class='flag-5'>研究</b>院<b class='flag-5'>首次</b>完成大模型异构算力混合<b class='flag-5'>训练</b>,突破异构算力束缚

    ai人工智能机器人

    随着时间的推移,人工智能的发展越来越成熟,智能时代也离人们越来越近,近几年人工智能越来越火爆,人工智能的应用已经开始渗透到各行各业,与生活交融,成为人们无法拒绝,无法失去的一个重要存在
    发表于 09-21 11:09

    《通用人工智能:初心与未来》-试读报告

    作者给出的结论。整体读下来,可以给我们关于通用人工智能全面的了解。作者也反复强调了通用人工智能与专用智能的区别。尤其是人们错误的认为一堆专用智能堆砌起来就是通用
    发表于 09-18 10:02

    基于IDE构建用于STM32微处理器的完整人工智能项目

    本用户手册指导了基于 IDE 逐步构建用于 STM32 微处理器的完整人工智能(AI)项目,自动转换预训练好的神经网络(NN)并集成所生成的优化库。本手册还介绍了 X-CUBE-AI 扩展包,该扩展
    发表于 09-07 06:15

    如何将人工智能应用到效能评估系统软件中去解决

    分析员工工作量和生产效率,同时针对不同流程的不同瓶颈提供个性化解决方案。   此外,我们还可以使用智能算法来识别和评估员工的表现和能力,为企业提供更精准的人才招聘和留住方案。   综合来看,人工智能
    发表于 08-30 12:58

    人工智能训练师是干什么的

    人工智能训练师是干什么的 随着人工智能(AI)技术的发展,训练机器人、算法和系统变得尤为重要。本文将探讨人工智能
    的头像 发表于 08-15 16:03 1678次阅读

    什么是人工智能芯片

    人工智能芯片是指专为人工智能算法设计的一种特殊芯片,它以高性能、低功耗、高速度、高精度为特点。人工智能
    的头像 发表于 08-14 15:33 2414次阅读

    人工智能训练师是什么

    人工智能训练师指的是具有相关专业能力的人士,在人工智能领域里,他们负责训练机器学习模型。与传统的计算机科学相比,机器学习是一个相对新的领域,
    的头像 发表于 08-13 14:17 1388次阅读

    Ai 部署的临界考虑电子指南

    虽然GPU解决方案对训练,AI部署需要更多。 预计到2020年代中期,人工智能行业将增长到200亿美元,其中大部分增长是人工智能推理。英特尔Xeon扩展处理器约占运行AI推理的处理器
    发表于 08-04 07:25

    人工智能赋能超构光子学研究

    现象,为完全控制光提供了更广泛深入的见解和更有用的工具。 人工智能(Artificial intelligence, AI)研究、模拟和扩展以类人类智能的方式进行计算和完成复杂工作的系统及方法,已迅速融入各类学科的前沿
    的头像 发表于 07-17 11:06 485次阅读
    <b class='flag-5'>人工智能</b>赋能超构光子学<b class='flag-5'>研究</b>

    AI 人工智能的未来在哪?

    人工智能、AI智能大模型已经孵化;繁衍过程将突飞猛进,ChatGPT已经上线。 世界首富马斯克认为AI对人类是一种威胁;谷歌前CEO施密特认为AI和机器学习对人类有很大益处。 每个国家对核武器的运用有两面性,造可控;但AI
    发表于 06-27 10:48

    【书籍评测活动NO.16】 通用人工智能:初心与未来

    之后的达特茅斯研讨会开始,用机器来模仿人类学习及其他方面的智能,即实现“人工智能”(Artificial Intelligence,AI)便成为计算机领域持续的研究热点。时至今日,以深度学习为代表
    发表于 06-21 14:41

    【EASY EAI Nano人工智能开发套件试用体验】EASY EAI Nano人工智能开发套件开箱及硬件初体验

    今天收到了EASY EAI Nano人工智能开发套件,为大家做个开箱及硬件评测。 打开快递包装,引入眼帘的是一个设计精美蓝色的大盒子,盒子里有EASY EAI Nano人工智能开发板、天线、喇叭
    发表于 05-31 19:18