0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

单个神经元不可靠!新研究推翻以往认知

mK5P_AItists 来源:YXQ 2019-07-09 17:24 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

一项关于神经元的研究,让众人看嗨了。这项研究通过在小鼠身上做实验,先展示了神经元“不靠谱”的一面:单个神经元两次对相同视觉刺激的反应,竟然是不一样的。

对于神经元的“不靠谱”性,此前的解释一直集中在噪音这个点。

而这项研究却实实在在推翻了此前观点,作者通过实验证明了:即使有噪音,神经元还是有能力获取高精度的视觉编码

主导这项研究的小姐姐认为,小鼠感知能力的限制不由视觉皮层的神经噪音决定,而是受神经解码过程的限制。

在这项推特转发超过600,点赞超过2000的研究下,神经科学家和AI科学家一起兴奋,“Pretty Cool”“Awesome”“Great story”等赞美声此起彼伏。

虽然不是AI界日常讨论的人工神经网络,而是自然界中动物们身上存在的生物神经网络,两者并不完全一样,但动物们自身的特征,却往往是启发科学家们的关键。

高通深度学习研究工程师Jakub Tomczak想到,它和AI中的Dropout十分类似,像是近似贝叶斯平均。

Dropout,正是指的Geoffrey Hinton等人在2014年提出的防止人工神经网络过拟合的正则化技术,现在已经成为了谷歌手中的专利。

AI工程师@AIexLaurence表示,就像AI一样,单个神经元(或者节点)并不表示特定的概念,是由神经网络中特定的激活模式决定的。

AIexLaurence还认为,这项生物学研究可能会对神经网络权重的研究有启发。

还有人认为,在神经元自带不确定性的前提下,大脑依赖投票/阈值机制产生的反馈信号来判定输入的感知信息。另外,除了神经的原因之外,也可能是动物眼睛的微观结构决定。

能让搞生物的和搞计算机的有同样的high点,这具体是项怎样的研究?

“不靠谱”的神经元

事情,还要从神经元说起。

对,就是中学生物里构成神经网络的那个长长的细胞。

可能不少AI领域的同学还不知道,在神经科学领域,神经元和AI界的拥有不确定性的神经网络一样,都是不靠谱的存在。

神经元,就像一个脑洞清奇的少年,即使是同样的信息呈现在他面前,他每次都会给出不一样的反应。

究其原因,在于噪声频发,影响神经编码

神经编码,跟计算机的编码不是一回事。由于感觉信息与其它信息,都是由脑中的生物神经网络来承载与呈现的,所以人们认为,神经元有某种编码能力,处理你身体感知到的光线、声音、味道等信息。

也就是说,神经编码过程是试图建立从刺激到反应的映射,着眼于理解神经元如何对不同的刺激作出反应,建立模型来预测神经元对特定刺激的反应。

而与之对应的神经解码过程,研究的是相反方向的映射,也就是从已知的反应来推算外界刺激重建特征。

在这个过程中,是一个“多变”的过程,但总是被冠以“不靠谱”的评价。举个例子:

假如你问一个神经元这个直角屏幕的角度是多少,它一开始说是75度,五分钟后说是10度,每一次你再问的时候都是一个接近90度的随机数。

再举个例子,你在计算器上输入3+7,它每次都给出的是不同的答案……

是不是有种熟悉的感觉?

没错,什么人工不人工的智能都差不多。

可是,正经的计算设备不应该是这样的。

这就是让神经科学家很为难的地方,单个神经元得出的结论是不可靠的(灰色的点),需要多次测量来平均噪声(图中黑线)。

那么,一个神经元都这么不靠谱了,一群不靠谱的神经元竟然能把动物们的神经系统构建的这么精准,真是个奇迹。

那么,神经元们是怎么做到的呢?

这涉及到信噪比的问题。信号强度和叠加次数成正比,噪声强度和叠加次数的平方根成正比,因此叠加次数越多,信噪比越高。

有人猜测,也许在我们的大脑中,它的运算机制就是数百万个嘈杂神经元结论的平均值,通过这种方法来判断看到的是什么。

可以从几何的角度解释这个问题,当噪声与刺激驱动的相同神经子空间对齐时,噪声只能影响受到刺激部分的编码。至少,一些神经噪声与刺激子空间正交,所以不会有什么坏的影响。

但是,这些只是理论猜想,如果真的想靠实践算出噪声对神经编码的影响,这很难,毕竟只有少量信息限制的噪声也会对神经编码有很大影响。

所以,基于以上推测,我们就大致为这种“明明个体不靠谱,群体却很靠谱”的行为归纳出原因:

把每个神经元得出的结论“神奇组合”一下,得出的平均值,就是最终那个靠谱的结果。

现在,做个实验,解个码证明一下吧!

小鼠视力实验

此前有人做过对猴子的解码,证明拿一小撮神经元做实验和用上所有神经元差不多。

在这个背景下,我们的主角出场了。

一位神经科学家小姐姐Carsen Stringer用小鼠做实验,探究小鼠的感知与单个神经元的关系。

在这次实验里,小姐姐和她的团队没有对猴子下手,而是换了一种动物,盯上了小鼠。

研究人员的目标是,通过记录小鼠20000个神经元的数量,测量视觉刺激定向解码误差的下限。

这项实验的大前提是:如果限制信息噪声的确有影响,解码错误必须渐近于某个非零值。

具体的给小鼠设定的挑战是:

让小鼠看角度。

基于我们前面已知的“不靠谱”这个特性,可以预知,给予小鼠相同的视觉刺激,神经元的每次反应完全不同。

研究人员用显微镜同时记录了约20000个神经元的活动。这是一个部分的随机颜色:

然后,使用线性回归找到每个神经元的权重,将它们的活动组合成“超级神经元”,对它们的判断进行平均。

这些超级神经元比单个神经元的噪声要小很多。其实,在95%的实验中,超级神经元能够分辨45度和46度之间的微小差异。

一度之差,人类都判断不出来吧。想象一下,让一只老鼠分辨出这么微小的差异……另一位研究人员@BenucciLa真的尝试了,老鼠只能分辨出超过29度的差异,比神经元差100倍。

最终,虽然研究人员们把解码的误差做到很低了,但是并没有出现期待中渐近的状况。

也就是说,视觉皮层对老鼠的视觉特征进行了高精确度的编码,但老鼠依然在辨别方向任务中完成得很差。

锅在解码过程

于是,研究人员得出结论,老鼠能接受到的信息,比人类大脑能接受的差1000倍。

虽然老鼠不能将这些信息传递给人类,但他们也是可以利用这些信息的。比如,这些信息可以作为一种计算的第一步。

这也进一步说明,神经信号和行为之间的差异不能用刺激的类型来解释,无论是通过行为状态还是反复试验感知直觉测试。

得出结论,小鼠感官知觉的局限性不是由感觉皮层的神经噪声决定的,而是由神经元下游的解码过程限制。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1813

    文章

    49773

    浏览量

    261740
  • 神经元
    +关注

    关注

    1

    文章

    369

    浏览量

    19113

原文标题:单个神经元不可靠!这项新研究推翻以往认知,感知的最大限制在于解码过程

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    神经元设备和脑机接口有何渊源?

    HUIYING神经元设备的发展历程概述神经元设备的发展经历了从基础信号检测到多功能智能集成的演进过程。自1920年代脑电图(EEG)信号首次被发现以来,神经电极技术逐步发展,如1957年出现的钨微丝
    的头像 发表于 11-03 18:03 1172次阅读
    <b class='flag-5'>神经元</b>设备和脑机接口有何渊源?

    激活函数ReLU的理解与总结

    具有很强的处理线性不可分机制。那么在深度网络中,对非线性的依赖程度就可以缩一缩。一旦神经元神经元之间改为线性激活,网络的非线性部分仅仅来自于神经元部分选择性激活。 对比大脑工作的9
    发表于 10-31 06:16

    脉冲神经元模型的硬件实现

    如图所示展示了LIF神经元的膜电势Vmem随时间戳timestamp动态变化的过程,当接收到输入脉冲后,LIF神经元的膜电势值Vmem便会升高,直至达到阈值电压Vthersh,此时神经元产生输出脉冲
    发表于 10-24 08:27

    SNN加速器内部神经元数据连接方式

    所谓地址事件表达(Address Event Representation,AER),是指通过地址的方式将事件进行表达,然后按时间顺序复用到总线上。已知生物神经元产生脉冲的频率比数字电路要低很多
    发表于 10-24 07:34

    液态神经网络(LNN):时间连续性与动态适应性的神经网络

    神经元,但却能产生复杂的行为。受此启发,与传统的神经网络相比,LNN旨在通过模拟大脑中神经元之间的动态连接来处理信息,这种网络能够顺序处理数据,并且保留了对过去输
    的头像 发表于 09-28 10:03 723次阅读
    液态<b class='flag-5'>神经</b>网络(LNN):时间连续性与动态适应性的<b class='flag-5'>神经</b>网络

    【「AI芯片:科技探索与AGI愿景」阅读体验】+神经形态计算、类脑芯片

    几年神经元计算及类脑芯片的重大进展。 一、云端使用的神经形态计算与类脑芯片 神经形态计算旨在设计和构建包括硬件和软件在内的计算机系统,通过模拟大脑神经元和突触的工作方式,更高效的执行
    发表于 09-17 16:43

    绝对值光栅编码器:工业精密控制的“数字神经元

    的“数字神经元”,正以毫米级甚至微米级的定位能力,重新定义精密制造的边界。 突破传统:从“相对计数”到“绝对定位”的革命 传统增量式编码器通过脉冲计数实现位置反馈,但存在致命缺陷:断电后需重新校准零点,抗干扰能力
    的头像 发表于 08-19 08:41 456次阅读
    绝对值光栅编码器:工业精密控制的“数字<b class='flag-5'>神经元</b>”

    新一代神经拟态类脑计算机“悟空”发布,神经元数量超20亿

    电子发烧友网综合报道 8月2日,浙江大学脑机智能全国重点实验室发布新一代神经拟态类脑计算机——Darwin Monkey(中文名“悟空”)。   “悟空”堪称国际首台神经元规模超20亿、基于专用神经
    的头像 发表于 08-06 07:57 7294次阅读
    新一代<b class='flag-5'>神经</b>拟态类脑计算机“悟空”发布,<b class='flag-5'>神经元</b>数量超20亿

    电解电容真的不可靠吗?

    电容的高故障率是电力电子系统可靠性问题的一大来源,其中电解电容短寿命的特点尤为突出。然而,追求可靠性的本质是追求产品全寿命周期成本的最优,从这一角度出发,可靠性不高的电解电容也许在某些应用中更加“
    的头像 发表于 07-26 09:14 592次阅读
    电解电容真的<b class='flag-5'>不可靠</b>吗?

    无刷直流电机单神经元自适应智能控制系统

    摘要:针对无刷直流电机(BLDCM)设计了一种可在线学习的单神经元自适应比例-积分-微分(PID)智能控制器,通过有监督的 Hebb学习规则调整权值,每次采样根据反馈误差对神经元权值进行调整,以实现
    发表于 06-26 13:36

    无刷直流电机单神经元PI控制器的设计

    摘要:研究了一种基于专家系统的单神经元PI控制器,并将其应用于无刷直流电机调速系统中。控制器实现了PI参数的在线调整,在具有PID控制器良好动态性能的同时,减少微分项对系统稳态运行时的影响,并较好
    发表于 06-26 13:34

    神经网络RAS在异步电机转速估计中的仿真研究

    可靠性,因此无传感器矢量控制系统的研究被广泛重视。众多学者对无速度传感器的电动机转速辨识进行了研究,出现了很多方法,模型参考自适应系统(Model Reference Adaptive System)在
    发表于 06-16 21:54

    BP神经网络的网络结构设计原则

    ,仅作为数据输入的接口。输入层的神经元个数通常与输入数据的特征数量相对应。 隐藏层 :对输入信号进行非线性变换,是神经网络的核心部分,负责学习输入与输出之间的复杂映射关系。隐藏层可以有一层或多层,层数和神经元数量根据具体问题而定
    的头像 发表于 02-12 16:41 1268次阅读

    BP神经网络与卷积神经网络的比较

    多层。 每一层都由若干个神经元构成,神经元之间通过权重连接。信号在神经网络中是前向传播的,而误差是反向传播的。 卷积神经网络(CNN) : CNN主要由卷积层、池化层和全连接层组成。
    的头像 发表于 02-12 15:53 1351次阅读

    人工神经网络的原理和多种神经网络架构方法

    所拟合的数学模型的形式受到大脑中神经元的连接和行为的启发,最初是为了研究大脑功能而设计的。然而,数据科学中常用的神经网络作为大脑模型已经过时,现在它们只是能够在某些应用中提供最先进性能的机器学习模型。近年来,由于
    的头像 发表于 01-09 10:24 2275次阅读
    人工<b class='flag-5'>神经</b>网络的原理和多种<b class='flag-5'>神经</b>网络架构方法