0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

超维计算是一种新兴的计算方法,受到人脑神经活动模式的启发

倩倩 来源:互联网分析沙龙 2020-07-10 15:54 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

超维计算(HDC)是一种新兴的计算方法,受到人脑神经活动模式的启发。这种独特的计算类型可以使人工智能系统根据以前遇到的数据或场景保留内存并处理新信息。

过去开发的大多数HDC系统只能在特定任务上表现出色,例如自然语言处理(NLP)或时间序列问题。在《自然电子》上发表的一篇论文中,苏黎世IBM研究中心和苏黎世联邦理工学院的研究人员介绍了一种新的HDC系统,该系统可以在内存中执行所有核心计算,并且可以应用于各种任务。

这项研究的两位主要研究人员Abu Sebastian和Abbas Rahimi对TechXplore说:“我们的工作是由内存计算和超维计算这两个概念之间的自然契合开始的。”“在苏黎世的IBM研究中心,我们一直在开发基于相变存储器(PCM)的内存计算平台,而在苏黎世联邦理工学院,我们一直在探索一种大脑启发的计算范例,称为超维计算。”

研究人员在过去的工作中观察到,HDC涉及的主要操作,即编码和关联内存搜索,都涉及对系统内存中大型分布模式的操纵和比较。由于此特性,可以使用PCM交叉开关阵列有效地制造这些系统,从而实现模拟内存计算的优势。

塞巴斯蒂安和拉希米解释说:“这种量身定制的组合不仅避免了冯·诺伊曼的瓶颈(又名记忆墙),而且还显着提高了能源效率以及对可变性,噪声和故障的鲁棒性。”“大约两年前,这一发现促使我们在ETH和IBM之间朝这个方向发起了一项联合研究。”

为了对神经活动模式进行建模,HDC系统使用丰富的代数,该代数定义了一组规则来构建,绑定和捆绑不同的超向量。超向量是具有独立且分布相同的分量的全息10,000维(伪)随机向量。通过使用这些超向量,HDC可以创建功能强大的计算系统,该系统可用于完成复杂的认知任务,例如对象检测,语言识别,语音和视频分类,时间序列分析,文本分类和分析推理。

Sebastian,Rahimi及其同事在论文中提出了一个完整的内存HDC系统,该系统可以处理各种任务。他们的系统有两个关键组成部分:HDC编码器和关联存储器。

Sebastian和Rahimi说:“我们的系统通过忆阻器件上的逻辑和点积运算在内存中执行核心计算。”“由于HDC固有的鲁棒性,有可能近似于与HDC相关的数学运算,使其适合于硬件实现,并在不影响精度的情况下使用模拟内存计算。”

过去开发的大多数内存HDC体系结构仅适用于有限的任务集,例如单语言识别或二进制分类任务。此外,这些系统主要在仿真中进行了评估,并使用了基于小型原型的紧凑型模型,带有少量电阻装置。

相比之下,由Sebastian和Rahimi开发的系统利用了700,000多个PCM设备。因此,它可以说是迄今为止提供的最大内存内HDC实验演示之一。

该原型是最早被编程为支持不同的超向量表示,尺寸以及输入符号和输出类别的HDC系统之一。这使其适用于从NLP到新闻分类和生物信号处理的多种应用。

塞巴斯蒂安和拉希米说:“我们的工作通过在嘈杂的硬件基板上执行各种分类任务,同时达到与精确软件实现相当的准确性,真正证明了模拟内存计算的潜在优势。”“这种强大的模拟内存计算是通过对数据表示,具有优美近似值的关联操作以及自然使它们能够实现的材料和基底提供新颖的外观来实现的。”

研究人员通过一系列实验对系统进行了评估,测试了它们在AI技术通常解决的三个任务上的性能,这些任务是基于肌电信号分析的语言分类,新闻分类和手势识别。在所有这些任务中,他们的HDC系统在任务的复杂性和分类精度之间实现了接近最佳的权衡。Sebastian,Rahimi及其同事使用760,000个相变存储设备测试了他们的系统,该设备执行了模拟内存计算过程,发现该系统实现了与流行软件技术类似的精度。

“我们通过实验证明,与基于65纳米CMOS技术的优化数字系统相比,使用基于PCM的内存计算的HDC平台可以节省600%的能源。”

将来,在最近的这项研究中引入的HDC系统将可以创建具有高级存储功能的新技术,从而可以完成许多不同的分类任务。该系统很快将在各种实际环境中实施和测试,这将使研究人员可以进一步评估其性能。

塞巴斯蒂安和拉希米说:“在我们的HDC体系结构中,信息的编码和内存的存储在构造上是分开的过程。”“最近在现代深度神经网络中,人们认识到这种关键的解开关系,以使它们摆脱灾难性的遗忘,并能实现短时学习和终身保留。我们的架构和表示系统将在下一代AI的开发中发挥核心作用。提供可以快速学习的系统,在整个生命周期中保留信息,即使使用正确的材料和基材也可以有效地做到这一点。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • PCM
    PCM
    +关注

    关注

    1

    文章

    207

    浏览量

    55432
  • 人工智能
    +关注

    关注

    1813

    文章

    49785

    浏览量

    261909
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    硬件消抖方案元件参数的计算方法

    硬件消抖是通过电路设计消除机械开关(如按键、继电器等)在闭合或断开时产生的抖动信号。以下是常见硬件消抖方案及其元件参数计算方法: 1. RC滤波消抖(低通滤波) 原理:利用电容的充放电特性,延缓
    发表于 11-19 06:31

    用PLC实现卷径计算的两算法

    卷径计算,是动态计算如钢卷,纸卷等存料量的一种方法,它是实现张力控制和自动充放料、以及甩尾控制的重要前提。卷径计算目前主流的方法有两
    的头像 发表于 11-14 16:54 1447次阅读
    用PLC实现卷径<b class='flag-5'>计算</b>的两<b class='flag-5'>种</b>算法

    【「AI芯片:科技探索与AGI愿景」阅读体验】+神经形态计算、类脑芯片

    功耗和并行处理信息能力。 类脑芯片的理论基础是神经形态计算,即借鉴生物神经系统信息的处理模式和结构,以人脑为蓝本、旨在构建能够像
    发表于 09-17 16:43

    【「AI芯片:科技探索与AGI愿景」阅读体验】+化学或生物方法实现AI

    计算是应用计算机科学和化学原理进行计算和模拟的跨学科领域,旨在研究化学反应、分子结构、化学性质等方面的计算方法和技术。 1)用酸碱反应实现逻辑门和
    发表于 09-15 17:29

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的未来:提升算力还是智力

    结果。 耦合振荡计算与传统的计算的区别: 3、神经符号计算 神经符号极端是指将基于神经网络的
    发表于 09-14 14:04

    句话了解21计算模式

    、智能化趋势、安全与可持续四个维度,梳理了21计算模式,并尽量用通俗易懂的句话向您介绍每种模式的定义。架构与资源维度并行
    的头像 发表于 08-06 14:31 527次阅读
    <b class='flag-5'>一</b>句话了解21<b class='flag-5'>种</b><b class='flag-5'>计算</b><b class='flag-5'>模式</b>

    神经拟态类脑计算机“悟空”发布,神经元数量20亿

    电子发烧友网综合报道 8月2日,浙江大学脑机智能全国重点实验室发布新神经拟态类脑计算机——Darwin Monkey(中文名“悟空”)。   “悟空”堪称国际首台神经元规模
    的头像 发表于 08-06 07:57 7306次阅读
    新<b class='flag-5'>一</b>代<b class='flag-5'>神经</b>拟态类脑<b class='flag-5'>计算</b>机“悟空”发布,<b class='flag-5'>神经</b>元数量<b class='flag-5'>超</b>20亿

    【书籍评测活动NO.64】AI芯片,从过去走向未来:《AI芯片:科技探索与AGI愿景》

    RISC-V架构的AI加速器、量子AI芯片、光电组合AI芯片等。 随着大模型面临收益递减、资源浪费等困境,书中接着将目光投向 “后Transformer” 时代的新兴算法。详细解读了计算
    发表于 07-28 13:54

    大模型推理显存和计算量估计方法研究

    (如全连接层、卷积层等)确定所需的显存大小; (3)将各层显存大小相加,得到模型总的显存需求。 基于神经网络剪枝的显存估计 神经网络剪枝是一种减少模型参数数量的技术,可以降低显存需求。通过剪枝,可以
    发表于 07-03 19:43

    常见传动机构负载惯量计算方法及实例

    传动机构是机械设备中的关键组件,它通过传递动力来实现机械运动。在设计传动机构时,负载惯量的计算至关重要,这直接影响到传动机构的稳定性和可靠性。以下是常见传动机构负载惯量的计算方法及实例: 、常见
    的头像 发表于 04-23 17:38 3416次阅读
    常见传动机构负载惯量<b class='flag-5'>计算方法</b>及实例

    【「芯片通识课:本书读懂芯片技术」阅读体验】从deepseek看今天芯片发展

    的: 神经网络处理器(NPU)是一种模仿人脑神经网络的电路系统,是实现人工智能中神经网络计算的专用处理器,主要用于人工智能深度学习模型的加速
    发表于 04-02 17:25

    EastWave应用:自动计算光子晶体透反率

    本案例使用“自动计算透反率模式”研究光子晶体的透反率,将建立简单二光子晶体结构以说明透反率的计算方法。 模型示意图: 预览网格划分效果如下: 观察到下面的实时场: 记录得到数据
    发表于 02-28 08:46

    大数据与云计算是干嘛的?

    大数据与云计算是支撑现代数字化技术的两大核心。大数据专注于海量数据的采集、存储、分析与价值挖掘;云计算通过虚拟化资源池提供弹性计算、存储及服务能力。两者结合,共同赋能企业决策、业务创新和效率提升。下面UU云小编将详细剖析大数据与
    的头像 发表于 02-20 14:48 1297次阅读

    文看懂】什么是量子计算

    量子计算代表了一种突破性的计算方法,它利用量子力学的基本原理,能够在某些复杂问题上实现超越传统计算机的计算能力。从药物研发到气候模拟,量子
    的头像 发表于 01-02 14:08 2202次阅读
    【<b class='flag-5'>一</b>文看懂】什么是量子<b class='flag-5'>计算</b>?

    LP光纤模式计算

    :渐变折射率 (GRIN) 光纤 光纤模式计算器允许定义线性偏振贝塞尔模式和线性偏振拉盖尔模式。 对于 GRIN 光纤,定义了梯度常数。 然后通过下式
    发表于 12-18 13:36