0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究人员研制出人工树突器件,构建新型新神经网络

如意 来源:知社学术圈 作者:知社学术圈 2020-07-05 11:39 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

受生物神经网络启发,研制出一种具有丰富动态特性的人工树突器件,构建了包含突触、树突、胞体三种基本计算单元的新型神经网络,树突功能显著提升了网络的准确率,同时大幅降低了系统的功耗,增强了网络处理复杂任务的能力。

包含树突计算的新型人工神经网络示意图生物神经网络由突触和神经元组成,而神经元又包含树突、胞体等基本结构,其中树突具有非常复杂的拓扑结构和动态过程。许多生物神经系统的研究表明树突具有十分重要的非线性时空信息处理功能,它是大脑能够在处理复杂任务的同时保持低功耗的重要原因之一。当前的人工神经网络大多将神经元用简单的点模型表示,将其计算功能简化成积分-发放(integrate-and-fire),而忽略了树突的信息处理功能。这样的简化使得人工神经网络在功耗、灵活性上与生物神经网络相比仍存在很大的差距。

6月29日,清华大学微电子所、未来芯片技术高精尖创新中心钱鹤、吴华强教授团队,联合清华大学医学院及脑与智能实验室宋森研究员、美国麻省大学杨建华教授、阿里巴巴达摩院谢源教授、加州大学圣芭芭拉分校邓磊博士,在Nature Nanotechnology上发表题为“Power-Efficient Neural Network with Artificial Dendrites”的研究论文,报道了基于动态忆阻器的人工树突器件,成功复现了生物树突对信号的非线性过滤、积分以及对时间信号的处理方式。

为了验证人工树突的计算功能,研究团队将所开发的人工树突器件与导电细丝型突触器件、Mott相变型胞体器件进行系统集成,构建了包含突触、树突、胞体三种基本计算单元的新型神经网络。实验结果显示,由于树突功能的引入,该网络在处理具有复杂背景噪声的街景门牌号(SVHN)数据集时,胞体的动态功耗降低30倍,网络的准确率提高8%以上,系统评估整体功耗比CPU降低3个数量级。来自清华大学微电子所的吴华强教授是该论文的通讯作者,李辛毅博士、唐建石助理教授和张清天博士是共同第一作者。

近年来,钱鹤、吴华强教授团队长期致力于基于忆阻器的存算一体芯片技术研究,从器件性能优化、工艺集成、电路设计及架构与算法等多层次实现创新突破,相关研究成果发表于Nature、Nature electronics、Nature Communications、Advanced Materials等顶级期刊和ISSCC、IEDM、VLSI等领域内顶级国际学术会议上。

研究人员研制出人工树突器件,构建新型新神经网络

受生物启发制备的新原理树突器件,复现了生物树突对信号的非线性过滤、积分等功能

研究人员研制出人工树突器件,构建新型新神经网络

集成了突触、树突、胞体三种计算单元的新型人工神经网络,在SVHN数据集上验证了功耗和准确率上的显著优势

该工作的主要创新之处包括:

开发出了与CMOS工艺兼容的树突器件,其丰富的动态特性复现了生物树突单元的非线性过滤、积分以及对时间信息处理等功能。

将所制备的人工树突器件和基于导电细丝的突触器件、基于Mott相变的胞体器件进行集成,首次在硬件系统上构建了包含突触、树突、胞体三种基本计算单元的新型人工神经网络。

在包含复杂背景噪声的街景门牌号数据集(SVHN dataset)上,对包含树突计算的人工神经网络功能进行了验证。树突功能的引入将胞体的动态功耗降低30倍,同时将网络准确率提高了8%以上,系统评估整体能耗比CPU降低3个数量级。

该研究基于新原理忆阻器的丰富动态过程开发了神经形态树突器件,并进一步验证了新型人工神经网络的功能。未来通过器件、算法、电路、架构的协同创新与优化,有望进一步提高包含树突计算的人工神经网络处理复杂时空任务的能力,构建更加智能化的低功耗神经网络。

该研究工作得到了国家自然科学基金委、国家重点研发计划、北京市科委、北京信息科学与技术国家研究中心等支持。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4829

    浏览量

    106808
  • 网络
    +关注

    关注

    14

    文章

    8134

    浏览量

    93102
  • 生物神经网络

    关注

    0

    文章

    3

    浏览量

    1846
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NMSIS神经网络库使用介绍

    NMSIS NN 软件库是一组高效的神经网络内核,旨在最大限度地提高 Nuclei N 处理器内核上的神经网络的性能并最​​大限度地减少其内存占用。 该库分为多个功能,每个功能涵盖特定类别
    发表于 10-29 06:08

    在Ubuntu20.04系统中训练神经网络模型的一些经验

    构建卷积神经网络模型 model = models.Sequential()model.add(layers.Conv2D(input_shape=(28, 28, 1), filters=4
    发表于 10-22 07:03

    液态神经网络(LNN):时间连续性与动态适应性的神经网络

    1.算法简介液态神经网络(LiquidNeuralNetworks,LNN)是一种新型神经网络架构,其设计理念借鉴自生物神经系统,特别是秀丽隐杆线虫的
    的头像 发表于 09-28 10:03 708次阅读
    液态<b class='flag-5'>神经网络</b>(LNN):时间连续性与动态适应性的<b class='flag-5'>神经网络</b>

    【「AI芯片:科技探索与AGI愿景」阅读体验】+神经形态计算、类脑芯片

    AI芯片不仅包括深度学细AI加速器,还有另外一个主要列别:类脑芯片。类脑芯片是模拟人脑神经网络架构的芯片。它结合微电子技术和新型神经形态器件,模仿人脑
    发表于 09-17 16:43

    神经网络的并行计算与加速技术

    随着人工智能技术的飞速发展,神经网络在众多领域展现出了巨大的潜力和广泛的应用前景。然而,神经网络模型的复杂度和规模也在不断增加,这使得传统的串行计算方式面临着巨大的挑战,如计算速度慢、训练时间长等
    的头像 发表于 09-17 13:31 892次阅读
    <b class='flag-5'>神经网络</b>的并行计算与加速技术

    无刷电机小波神经网络转子位置检测方法的研究

    摘要:论文通过对无刷电机数学模型的推导,得出转角:与三相相电压之间存在映射关系,因此构建了一个以三相相电压为输人,转角为输出的小波神经网络来实现转角预测,并采用改进遗传算法来训练网络结构与参数,借助
    发表于 06-25 13:06

    神经网络RAS在异步电机转速估计中的仿真研究

    ,在一定程度上扩展了转速估计范围。 纯分享帖,需要者可点击附件免费获取完整资料~~~*附件:神经网络RAS在异步电机转速估计中的仿真研究.pdf【免责声明】本文系网络转载,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权
    发表于 06-16 21:54

    BP神经网络与卷积神经网络的比较

    BP神经网络与卷积神经网络在多个方面存在显著差异,以下是对两者的比较: 一、结构特点 BP神经网络 : BP神经网络是一种多层的前馈神经网络
    的头像 发表于 02-12 15:53 1324次阅读

    BP神经网络的优缺点分析

    自学习能力 : BP神经网络能够通过训练数据自动调整网络参数,实现对输入数据的分类、回归等任务,无需人工进行复杂的特征工程。 泛化能力强 : BP神经网络通过训练数据学习到的特征表示
    的头像 发表于 02-12 15:36 1597次阅读

    什么是BP神经网络的反向传播算法

    BP神经网络的反向传播算法(Backpropagation Algorithm)是一种用于训练神经网络的有效方法。以下是关于BP神经网络的反向传播算法的介绍: 一、基本概念 反向传播算法是BP
    的头像 发表于 02-12 15:18 1289次阅读

    BP神经网络与深度学习的关系

    BP神经网络与深度学习之间存在着密切的关系,以下是对它们之间关系的介绍: 一、BP神经网络的基本概念 BP神经网络,即反向传播神经网络(Backpropagation Neural N
    的头像 发表于 02-12 15:15 1358次阅读

    BP神经网络的基本原理

    BP神经网络(Back Propagation Neural Network)的基本原理涉及前向传播和反向传播两个核心过程。以下是关于BP神经网络基本原理的介绍: 一、网络结构 BP神经网络
    的头像 发表于 02-12 15:13 1529次阅读

    深度学习入门:简单神经网络构建与实现

    深度学习中,神经网络是核心模型。今天我们用 Python 和 NumPy 构建一个简单的神经网络神经网络由多个神经元组成,
    的头像 发表于 01-23 13:52 848次阅读

    人工神经网络的原理和多种神经网络架构方法

    在上一篇文章中,我们介绍了传统机器学习的基础知识和多种算法。在本文中,我们会介绍人工神经网络的原理和多种神经网络架构方法,供各位老师选择。 01 人工
    的头像 发表于 01-09 10:24 2264次阅读
    <b class='flag-5'>人工</b><b class='flag-5'>神经网络</b>的原理和多种<b class='flag-5'>神经网络</b>架构方法

    ANN神经网络——器件建模

    随着半导体行业的新材料、新工艺、新器件的不断发展,人工神经网络作为一种替代方法已经被引入器件建模领域。本文介绍了ANN神经网络建模的起源、优
    的头像 发表于 01-06 13:41 1673次阅读
    ANN<b class='flag-5'>神经网络</b>——<b class='flag-5'>器件</b>建模