0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

脉冲神经网络成为下一代机器学习?

倩倩 来源:互联网新快报 2020-03-27 15:37 次阅读

学习是人工智能领域的核心问题,对于SNN来说,基于脉冲时间层次的学习方法研究,对于通过理论模型来验证生物神经系统的信息处理和学习机制是必须的。通过生物可解释的方式建立人工神经系统,科学家希望可以通过神经科学和行为实验来达到预期目的。

脉冲神经网络将脉冲神经元作为计算单元,能够模仿人类大脑的信息编码和处理过程。不同于CNN使用具体的值进行信息传递,SNN通过脉冲序列中每个脉冲发射时间进行信息的传递,能够提供稀疏但强大的计算能力。脉冲神经元将输入累积到膜电压,当达到具体阈值时进行脉冲发射,能够进行事件驱动式计算。由于脉冲事件的稀疏性以及事件驱动的计算形式,SNN能提供卓越的能源利用效率,是神经形态结构的首选神经网络。

脉冲神经网络的学习方式主要包括无监督学习、监督学习和强化学习等。无监督学习算法在人类和动物的学习中占据主导地位,人们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。人工神经网络无监督学习算法的设计主要是针对无标签数据集的训练,要求应用无监督学习规则对神经网络中的连接权值或结构进行自适应的调整。

脉冲神经网络的监督学习是指对于给定的多个输入脉冲序列和多个目标脉冲序列,寻找脉冲神经网络合适的突触权值矩阵,使神经元的输出脉冲序列与对应的目标脉冲序列尽可能接近,即两者的误差评价函数最小。强化学习是从环境状态到行为映射的学习,以使智能体行为从环境中获得的累积奖赏值最大。基于生物启发的学习机制,人工神经网络强化学习的研究重点在于探索智能体的自适应优化策略,是近年来神经网络和智能控制领域的主要方法之一。

但我们亟待解决的问题是,在标准的硬件模拟脉冲神经网络是计算密集型的,因为这需要模拟微分方程。然而,像IBM的TrueNorth等仿神经硬件解决了这个问题,它旨在是通过使用特定硬件模拟神经元,该硬件可以利用神经元脉冲行为的离散和稀疏特性优势来模拟神经元。

脉冲神经网络的未来尚不明确,一方面,它是循环神经网络的天然继任者;另一方面,对于大多数任务来说,这还不是较为实用的工具。脉冲神经网络在实时图像和音频处理领域得到一些实际应用,但文献仍然较少。但是,现在有很多团队正在从事脉冲神经网络监督学习规则的工作,因此我对其未来发展保持较为乐观的态度。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4572

    浏览量

    98720
  • 脉冲
    +关注

    关注

    19

    文章

    853

    浏览量

    94766
  • 人工智能
    +关注

    关注

    1776

    文章

    43824

    浏览量

    230581
收藏 人收藏

    评论

    相关推荐

    基于机器学习的第三代神经网络--脉冲神经网络的解析

    第三代神经网络脉冲神经网络(Spiking Neural Network,SNN),旨在弥合神经科学和机器
    的头像 发表于 01-15 10:14 1.6w次阅读

    labview BP神经网络的实现

    请问:我在用labview做BP神经网络实现故障诊断,在NI官网找到了机器学习工具包(MLT),但是里面没有关于这部分VI的帮助文档,对于”BP神经网络分类“这个范例有很多不懂的地方,
    发表于 02-22 16:08

    FPGA 超越 GPU,问鼎下一代深度学习主引擎

    FPGA 的性能比Titan X Pascal GPU 提高了60%,而性能/功耗比好2.3倍。结果表明,FPGA 可能成为下一代DNN 加速的首选平台7.深层神经网络中FPGA的未来FPGA 能否
    发表于 04-27 14:10

    神经网络解决方案让自动驾驶成为现实

    及 3x3 的 24 层卷积神经网络, 其性能表现几乎是个在典型的 GPU/CPU 综合处理引擎上运行的类似 CNN 的三倍,尽管其所需的内存带宽只是后者的五分之且功耗大幅降低。下一代
    发表于 12-21 17:11

    【PYNQ-Z2试用体验】神经网络基础知识

    神经网络首先来看下维基百科对神经网络的定义:人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络
    发表于 03-03 22:10

    机器学习神经网络参数的代价函数

    吴恩达机器学习笔记之神经网络参数的反向传播算法
    发表于 05-22 15:11

    基于赛灵思FPGA的卷积神经网络实现设计

    FPGA 上实现卷积神经网络 (CNN)。CNN 是类深度神经网络,在处理大规模图像识别任务以及与机器学习类似的其他问题方面已大获成功。
    发表于 06-19 07:24

    【案例分享】ART神经网络与SOM神经网络

    今天学习了两个神经网络,分别是自适应谐振(ART)神经网络与自组织映射(SOM)神经网络。整体感觉不是很难,只不过些最基础的概念容易理解不
    发表于 07-21 04:30

    【AI学习】第3篇--人工神经网络

    `本篇主要介绍:人工神经网络的起源、简单神经网络模型、更多神经网络模型、机器学习的步骤:训练与预测、训练的两阶段:正向推演与反向传播、以Te
    发表于 11-05 17:48

    如何用卷积神经网络方法去解决机器监督学习下面的分类问题?

    人工智能下面有哪些机器学习分支?如何用卷积神经网络(CNN)方法去解决机器学习监督学习下面的分类
    发表于 06-16 08:09

    有关脉冲神经网络的基本知识

    译者|VincentLee来源 |晓飞的算法工程笔记脉冲神经网络(Spiking neural network, SNN)将脉冲神经元作为计算单...
    发表于 07-26 06:23

    脉冲神经网络学习方式有哪几种?

    脉冲神经网络学习方式有哪几种?
    发表于 10-26 06:58

    卷积神经网络模型发展及应用

    卷积神经网络模型发展及应用转载****地址:http://fcst.ceaj.org/CN/abstract/abstract2521.shtml深度学习机器学习和人工智能研究的最新
    发表于 08-02 10:39

    卷积神经网络简介:什么是机器学习

    抽象人工智能 (AI) 的世界正在迅速发展,人工智能越来越多地支持以前无法实现或非常难以实现的应用程序。本系列文章解释了卷积神经网络 (CNN) 及其在 AI 系统中机器学习中的重要性。CNN 是从
    发表于 02-23 20:11

    基于脉冲神经网络的迁移学习算法

    使用脉冲序列进行数据处理的脉冲神经网络具有优异的低功耗特性,但由于学习算法不成熟,多层网络练存在收敛困难的问题。利用反向传播
    发表于 05-24 16:03 15次下载