0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

这种新型AI系统用少量人工神经元控制车辆转向

璟琰乀 来源:TsinghuaJoking 作者:TsinghuaJoking 2020-11-04 11:43 次阅读

自动驾驶汽车是当前机器学习研究者和工程师们正在探索的最复杂任务之一。它覆盖很多方面,而且要求必须高度稳定,只有这样我们才能保证自动驾驶汽车在道路上安全运行。通常,自动驾驶算法的训练需要大量真实人类驾车的训练数据,我们试图让深度神经网络理解这些数据,并复现人类遇到这些情况时的反应。

众所周知,当数据量足够多时,深度监督模型会被训练得很好,但目前的深度学习仍存在泛化性能不好和训练效率不高的问题,研究人员一直在寻求构建智能模型的新方法。当前人们探求的方向总是更深的网络,但这意味着更高的算力消耗。因此正如人们所思考的那样,必须寻找一种需要更少数据或更少神经网络层的方法,让机器实现智能化。

▲ 模仿线虫进行控制的神经网络

最近,来自MIT CSAIL、维也纳工业大学、奥地利科技学院的团队已经开发了一种基于线虫大脑的新型AI系统。研究成果登上了最近的《自然·机器智能》杂志。

他们发现,具有19个控制神经元的单个算法,通过253个突触将32个封装的输入特征连接到输出,可以学习把高维输入映射到操纵命令。

这种新的AI系统用少量人工神经元控制车辆转向。而基于CNN和LSTM的神经网络打造同样的自动驾驶系统,网络结构则要复杂得多。

▲ 使用CNN实现车辆届时系统

该方法受线虫等小型动物大脑的启发,仅用数十个神经元即可控制自动驾驶汽车,而常规深度神经网络方法(如 Inception、ResNet、VGG 等)则需要数百万神经元。这一新型网络仅使用 75000 个参数、19 个神经元,比之前减少了数万倍!

该方法还带来了额外的好处,由于神经元数量稀少,这样的网络不再是深度模型的「黑箱」,人们可以知道网络在每个运行阶段的情况。该研究项目负责人 Radu Grosu 教授表示:「正如线虫(nematode C. elegans)这种生命,它们以惊人的少量神经元实现有趣的行为模式。」

▲ 三种不同的神经连接模型

这是因为线虫的神经系统能够以高效、协调的方式处理信息。该系统证明深度学习模型仍有改进空间。如果线虫在进化到接近最优的神经系统结构后,能够凭借极少量神经元做出有趣的行为反应,那我们也可以让机器做到。该神经系统可以让线虫执行移动、动作控制和导航行为,而这恰恰是自动驾驶等应用所需要的。

该研究参与者之一 Thomas Henzinger 教授表示,他们按照这一神经系统,「开发了一种新型数学神经元和突触模型」——liquid time constant(LTC)神经元。简化神经网络的一种方式是使之变得稀疏,即并非每一个单元都与其他单元相连接。当一个单元被激活时,其他单元未被激活,这可以降低计算时间,因为所有未被激活单元没有任何输出(或者输出为 0,可以极大地加快计算速度)。

▲ 神经网络专注于图像的非常具体的部分

这一新系统包括两部分。

首先是一个紧凑的卷积神经网络,用于从输入图像像素中提取结构特征。使用这类信息,网络能够确定图像的哪些部分较为重要或有趣,并仅将这部分图像传输至下一个步骤。

该研究提出新架构的端到端表示。

第二个部分即「控制系统」,它利用一组生物启发神经元做出的决策来控制汽车。这一控制系统又叫做「神经电路策略」(neural circuit polic,NCP)。

它将紧凑卷积模型的输出数据转换到仅有 19 个神经元的 RNN 架构中(该架构受线虫神经系统的启发),进而控制汽车。

▲ NCP 网络的实现细节参见相关论文及 GitHub 项目

这带来了参数量的锐减。论文一作 Mathias Lechner 表示「NCP 比之前的 SOTA 模型小了三个数量级」,参见下表 2。

▲ 网络规模对比

由于该架构规模很小,因此我们可以看清楚其注意力在输入图像的哪一部分。研究者发现,用这么小的网络提取图像最重要部分时,这些神经元只关注路边和视野。在目前着重于分析图像每一个细节的人工智能系统中,这是很独特的行为。

与其他网络相比,传输至 NCP 网络的信息可谓少之又少。仅通过上图,我们就可以发现该方法比现有方法更加高效,计算速度也更快。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4572

    浏览量

    98743
  • NCP
    NCP
    +关注

    关注

    0

    文章

    48

    浏览量

    23616
  • 自动驾驶
    +关注

    关注

    773

    文章

    13032

    浏览量

    163203
收藏 人收藏

    评论

    相关推荐

    英特尔研发新型神经形态计算机Hala Point,为AI发展注入新动力

    科学家对神经形态计算机抱有极高期望,因其采用人工神经元实现存储与运算功能,避免数据在组件间频繁传输,从而提高能源利用效率。
    的头像 发表于 04-19 15:47 115次阅读

    英特尔发布新一代神经拟态系统Hala Point,11.5亿神经元,12倍性能提升

    作为英特尔首个神经元数量达到11.5亿的神经拟态系统,Hala Point为更高效、规模更大的AI开辟了道路。   英特尔发布了代号为Hala Point的大型
    的头像 发表于 04-19 09:43 227次阅读
    英特尔发布新一代<b class='flag-5'>神经</b>拟态<b class='flag-5'>系统</b>Hala Point,11.5亿<b class='flag-5'>神经元</b>,12倍性能提升

    AI芯片的技术原理与架构

    人工神经网络模型 AI芯片的核心原理基于人工神经网络,其中芯片内部的处理单元模拟了生物神经元的工
    发表于 03-12 11:27 783次阅读
    <b class='flag-5'>AI</b>芯片的技术原理与架构

    NanoEdge AI的技术原理、应用场景及优势

    NanoEdge AI 是一种基于边缘计算的人工智能技术,旨在将人工智能算法应用于物联网(IoT)设备和传感器。这种技术的核心思想是将数据处理和分析从云端转移到设备本身,从而减少数据传
    发表于 03-12 08:09

    一种具有高度柔性与可塑性的超香肠覆盖式神经元模型

    人工神经网络是模拟人脑神经活动的重要模式识别工具,受到了众多科学家和学者的关注。然而,近年来DNN的改进与优化工作主要集中于网络结构和损失函数的设计,神经元模型的发展一直非常有限。
    的头像 发表于 12-04 11:12 211次阅读
    一种具有高度柔性与可塑性的超香肠覆盖式<b class='flag-5'>神经元</b>模型

    科研团队研发自适应神经连接光子处理器

    机器学习中的神经网络需要的是由外部兴奋信号激活并与其他神经元有连接的人工神经元。这些人工神经元
    发表于 10-30 11:33 102次阅读

    人工神经网络相关资料

    ,但计算机则很难做到这一点。 大脑是由生物神经元构成的巨型网络,它在本质上不同于计算机,是一种大规模的并行处理系统,它具有学习、联想记忆、综合等能力,并有巧妙的信息处理方法。
    发表于 09-27 06:13

    不可错过!人工神经网络算法、PID算法、Python人工智能学习等资料包分享(附源代码)

    神经网络的设计基础。神经元是以生物的神经系统神经细胞为基础的生物模型。在人们对生物神经系统进行研究,以探讨
    发表于 09-13 16:41

    人工神经网络和bp神经网络的区别

    人工神经网络和bp神经网络的区别  人工神经网络(Artificial Neural Network, ANN)是一种模仿人脑
    的头像 发表于 08-22 16:45 3433次阅读

    一文详解CNN

    ,网络很难训练。 卷积层的本质就是用来解决这种计算量爆炸的问题。 卷积的核心思想是: 局部感知域 权值共享 局部感知: 局部感知的一层的神经元只连接到前一层的局部区域,不同于全连接。这样做也有神经
    发表于 08-18 06:56

    四轮转向系统结构及工作原理

    ,4WS系统中对于车辆四轮的控制以及前后轮的转向分配使用到了电子控制技术以及电机助力技术。由于在车辆
    的头像 发表于 07-13 15:28 2165次阅读

    神经元 C 参考指南

    神经元 C 参考指南
    发表于 07-04 20:48 0次下载
    <b class='flag-5'>神经元</b> C 参考指南

    神经元汇编语言参考

    神经元汇编语言参考
    发表于 07-04 20:47 0次下载
    <b class='flag-5'>神经元</b>汇编语言参考

    神经元 6050 数据表

    神经元 6050 数据表
    发表于 07-04 20:41 0次下载
    <b class='flag-5'>神经元</b> 6050 数据表

    OpenAI用GPT-4解释了GPT-2三十万个神经元:智慧原来是这个样子

    可解释性研究的一种简单方法是首先了解 AI 模型各个组件(神经元和注意力头)在做什么。传统的方法是需要人类手动检查神经元,以确定它们代表数据的哪些特征。这个过程很难扩展,将它应用于具有数百或数千亿个参数的
    的头像 发表于 05-15 09:40 334次阅读