0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

这种新型AI系统用少量人工神经元控制车辆转向

璟琰乀 来源:TsinghuaJoking 作者:TsinghuaJoking 2020-11-04 11:43 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

自动驾驶汽车是当前机器学习研究者和工程师们正在探索的最复杂任务之一。它覆盖很多方面,而且要求必须高度稳定,只有这样我们才能保证自动驾驶汽车在道路上安全运行。通常,自动驾驶算法的训练需要大量真实人类驾车的训练数据,我们试图让深度神经网络理解这些数据,并复现人类遇到这些情况时的反应。

众所周知,当数据量足够多时,深度监督模型会被训练得很好,但目前的深度学习仍存在泛化性能不好和训练效率不高的问题,研究人员一直在寻求构建智能模型的新方法。当前人们探求的方向总是更深的网络,但这意味着更高的算力消耗。因此正如人们所思考的那样,必须寻找一种需要更少数据或更少神经网络层的方法,让机器实现智能化。

▲ 模仿线虫进行控制的神经网络

最近,来自MIT CSAIL、维也纳工业大学、奥地利科技学院的团队已经开发了一种基于线虫大脑的新型AI系统。研究成果登上了最近的《自然·机器智能》杂志。

他们发现,具有19个控制神经元的单个算法,通过253个突触将32个封装的输入特征连接到输出,可以学习把高维输入映射到操纵命令。

这种新的AI系统用少量人工神经元控制车辆转向。而基于CNN和LSTM的神经网络打造同样的自动驾驶系统,网络结构则要复杂得多。

▲ 使用CNN实现车辆届时系统

该方法受线虫等小型动物大脑的启发,仅用数十个神经元即可控制自动驾驶汽车,而常规深度神经网络方法(如 Inception、ResNet、VGG 等)则需要数百万神经元。这一新型网络仅使用 75000 个参数、19 个神经元,比之前减少了数万倍!

该方法还带来了额外的好处,由于神经元数量稀少,这样的网络不再是深度模型的「黑箱」,人们可以知道网络在每个运行阶段的情况。该研究项目负责人 Radu Grosu 教授表示:「正如线虫(nematode C. elegans)这种生命,它们以惊人的少量神经元实现有趣的行为模式。」

▲ 三种不同的神经连接模型

这是因为线虫的神经系统能够以高效、协调的方式处理信息。该系统证明深度学习模型仍有改进空间。如果线虫在进化到接近最优的神经系统结构后,能够凭借极少量神经元做出有趣的行为反应,那我们也可以让机器做到。该神经系统可以让线虫执行移动、动作控制和导航行为,而这恰恰是自动驾驶等应用所需要的。

该研究参与者之一 Thomas Henzinger 教授表示,他们按照这一神经系统,「开发了一种新型数学神经元和突触模型」——liquid time constant(LTC)神经元。简化神经网络的一种方式是使之变得稀疏,即并非每一个单元都与其他单元相连接。当一个单元被激活时,其他单元未被激活,这可以降低计算时间,因为所有未被激活单元没有任何输出(或者输出为 0,可以极大地加快计算速度)。

▲ 神经网络专注于图像的非常具体的部分

这一新系统包括两部分。

首先是一个紧凑的卷积神经网络,用于从输入图像像素中提取结构特征。使用这类信息,网络能够确定图像的哪些部分较为重要或有趣,并仅将这部分图像传输至下一个步骤。

该研究提出新架构的端到端表示。

第二个部分即「控制系统」,它利用一组生物启发神经元做出的决策来控制汽车。这一控制系统又叫做「神经电路策略」(neural circuit polic,NCP)。

它将紧凑卷积模型的输出数据转换到仅有 19 个神经元的 RNN 架构中(该架构受线虫神经系统的启发),进而控制汽车。

▲ NCP 网络的实现细节参见相关论文及 GitHub 项目

这带来了参数量的锐减。论文一作 Mathias Lechner 表示「NCP 比之前的 SOTA 模型小了三个数量级」,参见下表 2。

▲ 网络规模对比

由于该架构规模很小,因此我们可以看清楚其注意力在输入图像的哪一部分。研究者发现,用这么小的网络提取图像最重要部分时,这些神经元只关注路边和视野。在目前着重于分析图像每一个细节的人工智能系统中,这是很独特的行为。

与其他网络相比,传输至 NCP 网络的信息可谓少之又少。仅通过上图,我们就可以发现该方法比现有方法更加高效,计算速度也更快。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4829

    浏览量

    106819
  • NCP
    NCP
    +关注

    关注

    0

    文章

    48

    浏览量

    24518
  • 自动驾驶
    +关注

    关注

    791

    文章

    14673

    浏览量

    176649
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    神经元设备和脑机接口有何渊源?

    HUIYING神经元设备的发展历程概述神经元设备的发展经历了从基础信号检测到多功能智能集成的演进过程。自1920年代脑电图(EEG)信号首次被发现以来,神经电极技术逐步发展,如1957年出现的钨微丝
    的头像 发表于 11-03 18:03 1167次阅读
    <b class='flag-5'>神经元</b>设备和脑机接口有何渊源?

    激活函数ReLU的理解与总结

    in nervous activity》论文中提出并给出了人工神经网络的概念及人工神经元的数学模型,从而开创了人工
    发表于 10-31 06:16

    脉冲神经元模型的硬件实现

    实现。所以现有的大部分 SNN 加速器的硬件实现上都采用LIF模型。 如图所示,设计的 SNN 神经核整体架构如图所示。 神经核主要由 LIF 神经元模块(LIF_neuron)、控制
    发表于 10-24 08:27

    SNN加速器内部神经元数据连接方式

    系统,图中1到N个方块分别表示N个神经元,每当发送端一侧的神经元产生一个脉冲时,脉冲信息将会通过编码模块编码成 AER 脉冲数据包,各个神经元产生的脉冲事件将会按时间先后顺序排列在AE
    发表于 10-24 07:34

    液态神经网络(LNN):时间连续性与动态适应性的神经网络

    1.算法简介液态神经网络(LiquidNeuralNetworks,LNN)是一种新型神经网络架构,其设计理念借鉴自生物神经系统,特别是秀丽隐杆线虫的
    的头像 发表于 09-28 10:03 708次阅读
    液态<b class='flag-5'>神经</b>网络(LNN):时间连续性与动态适应性的<b class='flag-5'>神经</b>网络

    【「AI芯片:科技探索与AGI愿景」阅读体验】+具身智能芯片

    物理形状的信息,分为缓慢适应1型神经元(SA-1)和快速适应1型神经元(FA-1)。 4、听觉 具身智能需要像人耳一样强大的听力感官来感知声音,并将他们传输到认知系统,从而使系统通过声
    发表于 09-18 11:45

    【「AI芯片:科技探索与AGI愿景」阅读体验】+神经形态计算、类脑芯片

    AI芯片不仅包括深度学细AI加速器,还有另外一个主要列别:类脑芯片。类脑芯片是模拟人脑神经网络架构的芯片。它结合微电子技术和新型神经形态器件
    发表于 09-17 16:43

    【「AI芯片:科技探索与AGI愿景」阅读体验】+化学或生物方法实现AI

    21世纪是生命科学的世纪,生物技术的潜力将比电子技术更深远----- 里卡多-戈蒂尔 半导体实现AI应该没什么疑问了吧?化学、生物怎么实现AI呢? 生物大脑是一个由无数神经元通过突触连接而成的复杂
    发表于 09-15 17:29

    【「AI芯片:科技探索与AGI愿景」阅读体验】+第二章 实现深度学习AI芯片的创新方法与架构

    上来先来几个专有名词: ANN:人工神经网络 SNN:脉冲神经网络DNN:深度神经网络 神经网络设计灵感都是来自人类的大脑结构,都是由
    发表于 09-12 17:30

    【「AI芯片:科技探索与AGI愿景」阅读体验】+可期之变:从AI硬件到AI湿件

    的不同。随着AI热潮的兴起,大脑的抽象模型已被提炼成各种的AI算法,并使用半导体芯片技术加以实现。 而大脑是一个由无数神经元通过突触连接而成的复杂网络,是极其复杂和精密的。大脑在本质上就是一台湿润的软组织
    发表于 09-06 19:12

    利用超微型 Neuton ML 模型解锁 SoC 边缘人工智能

    框架仍然依赖于开发人员掌握如何手动组织神经网络、神经元和网络深度的知识,然后在事后对模型进行压缩和优化,使其适合所需的目标设备。这种方法导致模型在代码大小、执行速度和功耗方面效率较低。 而
    发表于 08-31 20:54

    新一代神经拟态类脑计算机“悟空”发布,神经元数量超20亿

    电子发烧友网综合报道 8月2日,浙江大学脑机智能全国重点实验室发布新一代神经拟态类脑计算机——Darwin Monkey(中文名“悟空”)。   “悟空”堪称国际首台神经元规模超20亿、基于专用神经
    的头像 发表于 08-06 07:57 7284次阅读
    新一代<b class='flag-5'>神经</b>拟态类脑计算机“悟空”发布,<b class='flag-5'>神经元</b>数量超20亿

    无刷直流电机单神经元自适应智能控制系统

    常规PID,大大提高了系统的跟随性,能满足BLDCM系统对实时性的要求。 纯分享帖,点击下方附件免费获取完整资料~~~ *附件:无刷直流电机单神经元自适应智能控制系统.pdf 【免责声
    发表于 06-26 13:36

    无刷直流电机单神经元PI控制器的设计

    摘要:研究了一种基于专家系统的单神经元PI控制器,并将其应用于无刷直流电机调速系统中。控制器实现了PI参数的在线调整,在具有PID
    发表于 06-26 13:34

    人工神经网络的原理和多种神经网络架构方法

    所拟合的数学模型的形式受到大脑中神经元的连接和行为的启发,最初是为了研究大脑功能而设计的。然而,数据科学中常用的神经网络作为大脑模型已经过时,现在它们只是能够在某些应用中提供最先进性能的机器学习模型。近年来,由于
    的头像 发表于 01-09 10:24 2266次阅读
    <b class='flag-5'>人工</b><b class='flag-5'>神经</b>网络的原理和多种<b class='flag-5'>神经</b>网络架构方法