斯坦福大学研究人员已经证明,在光学芯片上直接训练人工神经网络是可能的。这一重大突破表明,光学电路可以执行基于电子技术的人工神经网络的关键功能,并且可以更便宜、更快和更节能的方式来执行诸如语音或图像识别等复杂任务。
研究人员已经证明,神经网络可以使用光学电路(图中的蓝色矩形)进行训练。在整个网络中,会有几个连接在一起。激光输入(绿色)信息,通过光学(黑色)芯片。该芯片使用非均匀波束执行对人工神经网络至关重要的操作,它是由曲线段表示的。这些部分将两个相邻的部分连接在一起,并通过调整光学相位(红色和蓝色物体)的设置来调谐,它们的作用就像可以在训练期间调整以执行给定任务的“转轨”。这一研究结果由斯坦福大学研究组的Tyler W. Hughes所证明。
“使用光学芯片比数字计算机更有效地执行神经网络,可以解决更复杂的问题。”斯坦福大学研究小组的Shanhui Fan说。“例如,这将增强人工神经网络执行自动驾驶汽车所需任务的能力,或者对口头问题作出适当的反应。它还能以我们现在无法想象的方式改善我们的生活。”
尽管光学人工神经网络最近被实验证明,但训练步骤是在传统的数字计算机上使用一个模型进行的,然后将最后的设置输入到光学电路中。在光学学会的拥有很高影响力的研究杂志上,斯坦福大学报告了一种直接在设备中训练这些网络的方法,这种方法是通过实现“光学模拟”算法来实现的,这是训练常规神经网络的标准方法。
“使用物理设备而不是计算机模型进行训练可以使训练过程更加精确。”Hughes说。“此外,由于训练步骤是神经网络实现过程中非常昂贵的部分,因此执行这一步骤对于提高人工网络的计算效率、速度和功耗至关重要。”
基于光的网络
虽然神经网络处理通常使用传统计算机执行,但仍有大量工作要设计专门为神经网络计算而优化的硬件。基于光学的设备有很大的兴趣,因为它们可以并行执行,同时使用比电子设备更少的能量。
在这项新的工作中,研究人员通过设计一种传统计算机训练神经网络的方法设计了一种光学芯片,这对实现全光神经网络提出了重大挑战。
一个人工神经网络可以被认为是一个黑匣子,有大量的人工神经网络。在训练过程中,每个训练单元都会有一些变化,然后对系统进行测试,看看算法的性能是否有所提高。
“我们的方法不仅可以帮助你预测转向哪个方向,而且还可以帮助你预测你应该把每一种方法都转化成更接近预期的性能。”Hughes说。“我们的方法大大加快了训练的速度,特别是对于大型网络,因为我们并行地获得了关于每种方法的信息。”
片上训练
新的训练协议工作在光路上,通过改变光学相位的设置来调整光路。将待处理的激光束编码信息发射到光路中,通过光束进行光路传输,并对其进行调整,以训练神经网络算法。
在新的训练协议中,激光器首先通过光路输入。在设备上,计算与预期结果的差异。然后,该信息被用来产生一个新的光信号,该光信号通过光网络以相反的方向发送回来。在这个过程中,研究人员通过测量每个光束周围的光强度,展示了如何并行地检测神经网络性能将如何随着光束的设置而变化。根据这些信息可以改变相位设置,并且过程可以重复,直到神经网络产生期望的结果。
研究人员通过教授一种执行复杂功能的算法,例如在一组点内提取复杂的特征,用光学模拟测试了他们的训练技术。他们发现,光学实现功能与传统计算机相似。
“我们的工作证明,你可以利用物理定律来实现计算机科学算法,”Fan说。“通过在光领域对这些网络进行训练,它表明光神经网络系统可以单独使用光学来实现某些更高的性能。”
目前,研究人员正计划进一步优化该系统,并希望利用它实现神经网络任务的实际应用。他们设计的一般方法可用于各种神经网络体系结构和其他应用,如光学。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
人工神经网络
+关注
关注
1文章
95浏览量
14503 -
光学芯片
+关注
关注
0文章
16浏览量
3981
发布评论请先 登录
相关推荐
BP神经网络算法的基本流程
训练经过约50次左右迭代,在训练集上已经能达到99%的正确率,在测试集上的正确率为90.03%,单纯的BP神经网络能够提升的空间不大了,但kaggle上已经有人有卷积神经网络在测试集达
发表于 03-20 09:58
•396次阅读
详解深度学习、神经网络与卷积神经网络的应用
在如今的网络时代,错综复杂的大数据和网络环境,让传统信息处理理论、人工智能与人工神经网络都面临巨大的挑战。近些年,深度学习逐渐走进人们的视线,通过深度学习解决若干问题的案例越来越多。一
Kaggle知识点:训练神经网络的7个技巧
科学神经网络模型使用随机梯度下降进行训练,模型权重使用反向传播算法进行更新。通过训练神经网络模型解决的优化问题非常具有挑战性,尽管这些算法在实践中表现出色,但不能保证它们会及时收敛到一
如何训练这些神经网络来解决问题?
在神经网络建模中,经常会出现关于神经网络应该有多复杂的问题,即它应该有多少层,或者它的滤波器矩阵应该有多大。这个问题没有简单的答案。与此相关,讨论网络过拟合和欠拟合非常重要。过拟合是模型过于复杂
发表于 11-24 15:35
•311次阅读
人工神经网络相关资料
,但计算机则很难做到这一点。 大脑是由生物神经元构成的巨型网络,它在本质上不同于计算机,是一种大规模的并行处理系统,它具有学习、联想记忆、综合等能力,并有巧妙的信息处理方法。
发表于 09-27 06:13
不可错过!人工神经网络算法、PID算法、Python人工智能学习等资料包分享(附源代码)
神经网络的设计基础。神经元是以生物的神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行
发表于 09-13 16:41
华为芯片迎重大突破
和巨额投入,已经在多个芯片领域取得了重大突破。例如,在人工智能领域,华为拥有自主研发的昇腾芯片,可以应用于智能驾驶、语音识别、视觉识别、机器人控制等多个领域,被广泛运用于各种智能设备中
卷积神经网络(CNN)的工作原理 神经网络的训练过程
前文《卷积神经网络简介:什么是机器学习?》中,我们比较了在微控制器中运行经典线性规划程序与运行CNN的区别,并展示了CNN的优势。我们还探讨了CIFAR网络,该网络可以对图像中的猫、房子或自行车等对象进行分类,还可以执行简单的语
发表于 09-05 10:19
•933次阅读
人工神经网络和bp神经网络的区别
人工神经网络和bp神经网络的区别 人工神经网络(Artificial Neural Network, ANN)是一种模仿人脑
卷积神经网络主要包括哪些 卷积神经网络组成部分
卷积神经网络主要包括哪些 卷积神经网络组成部分 卷积神经网络(CNN)是一类广泛应用于计算机视觉、自然语言处理等领域的人工神经网络。它具有良
卷积神经网络和深度神经网络的优缺点 卷积神经网络和深度神经网络的区别
深度神经网络是一种基于神经网络的机器学习算法,其主要特点是由多层神经元构成,可以根据数据自动调整神经元之间的权重,从而实现对大规模数据进行预测和分类。卷积
发表于 08-21 17:07
•2348次阅读
卷积神经网络模型训练步骤
卷积神经网络模型训练步骤 卷积神经网络(Convolutional Neural Network, CNN)是一种常用的深度学习算法,广泛应用于图像识别、语音识别、自然语言处理等诸多领域。CNN
卷积神经网络原理:卷积神经网络模型和卷积神经网络算法
卷积神经网络原理:卷积神经网络模型和卷积神经网络算法 卷积神经网络(Convolutional Neural Network,CNN)是一种基于深度学习的
如何使用TensorFlow将神经网络模型部署到移动或嵌入式设备上
有很多方法可以将经过训练的神经网络模型部署到移动或嵌入式设备上。不同的框架在各种平台上支持Arm,包括TensorFlow、PyTorch、Caffe2、MxNet和CNTK,如Android
发表于 08-02 06:43
什么是神经网络?为什么说神经网络很重要?神经网络如何工作?
神经网络是一个具有相连节点层的计算模型,其分层结构与大脑中的神经元网络结构相似。神经网络可通过数据进行学习,因此,可训练其识别模式、对数据分类和预测未来事件。
评论