沃特金斯和她的研究小组发现,连续不断的无监督学习之后,网络仿真变得不稳定。当他们将网络暴露于类似于活脑在睡眠中经历的波动的状态时,稳定性得以恢复。沃特金斯说:“好像我们在给神经网络一样,可以睡个好觉。”
这一发现是在研究团队致力于开发神经网络时得出的,该网络与人类和其他生物系统如何学习看得很近。该小组最初努力使稳定的模拟神经网络经受无监督的字典训练,该训练涉及对对象进行分类,而无需事先进行示例比较。
洛斯·阿拉莫斯(Los Alamos)的计算机科学家和研究合著者加勒特·凯尼恩(Garrett Kenyon)说:“只有在尝试利用生物学上逼真的尖峰神经形态处理器或试图了解生物学本身时,才会出现如何使学习系统变得不稳定的问题。”“绝大多数机器学习,深度学习和AI研究人员从未遇到过这个问题,因为在他们研究的非常人工的系统中,他们可以执行全局数学运算,从而具有调节系统整体动态增益的作用。”
研究人员将决定使网络暴露于人工模拟睡眠的决定是将其稳定的最后努力。他们对各种类型的噪声进行了实验,大致可与调谐收音机时在电台之间遇到的静态噪声相媲美。当他们使用所谓的高斯噪声波时,最好的结果是出现的,其中包括范围广泛的频率和幅度。他们假设该噪声模仿了慢波睡眠过程中生物神经元接收到的输入。结果表明,慢波睡眠可能在某种程度上起到了确保皮质神经元维持其稳定性而不产生幻觉的作用。
小组的下一个目标是在英特尔的Loihi神经形态芯片上实现他们的算法。他们希望让Loihi时不时地进入睡眠状态,使其能够稳定地实时处理来自硅视网膜相机的信息。如果这些发现证实了人造大脑需要睡眠,那么我们可能会期望未来可能出现的android和其他智能机器也是如此。
沃特金斯将于6月14日在西雅图的“计算机视觉中的女性”研讨会上介绍这项研究。
-
神经网络
+关注
关注
42文章
4844浏览量
108195 -
网络仿真
+关注
关注
0文章
11浏览量
7360
发布评论请先 登录
解码睡眠 “黑匣子”:脑机接口如何开启主动健康管理新时代?
华为携手北京理工大学与中软国际教育推出全球首个人工智能实践实验室
智能睡眠监测方案:以非接触式技术守护生命体征,重塑健康睡眠管理
nrf9151 NB-IOT/CAT-M modem睡眠模式的转换(二)
耳周脑电采集是否是睡眠分析最佳可穿戴方式?
MCU典型的睡眠唤醒时间delay的概念
北京化工大学与昱栎技术联合实验室正式揭牌
上海理工大学师生一行走进简仪科技总部
芯动力,好睡眠:WT2003HX语音芯片打造智能白噪音睡眠仪
睡眠障碍调控系列之经颅振荡直流电刺激(toDCS)
超小型Neuton机器学习模型, 在任何系统级芯片(SoC)上解锁边缘人工智能应用.
LM26003 具有高效睡眠模式的 3A 开关稳压器数据手册
人工大脑也可能需要睡眠
评论