0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数据大爆炸?让人焦虑的内存计算怎么克服?

h1654155971.8456 来源:YXQ 2019-03-25 17:05 次阅读

在过去的几十年中,计算性能的提高是通过更快、更精确地处理更大数量的数据来实现的。

内存和存储空间现在是以千兆字节和兆字节来衡量的,而不是以千字节和兆字节。处理器操作64位而不是8位数据块。然而,半导体行业创造和收集高质量数据的能力比分析数据的能力增长得更快。

一方面,互联网和物联网正在推动数据爆炸。惠普实验室(Hewlett-Packard Labs)的研究科学家约翰·保罗·斯特拉坎(John Paul Strachan)在Leti设备研讨会(12月的IEEE电子设备会议的一个附带活动)上的一次演讲中指出,仅Facebook用户每天就产生4千兆字节(1千兆字节=1015字节)的数据。

通过传感器、摄像头和其他所有设备对现实的数字捕捉产生了更大的效果。一辆独立的汽车每天可以收集4 TB的数据,将来一个大城市可能会有数百万的数据。仅仅捕获这些信息并将其上传到中央数据中心所需的能量和带宽就很惊人。

神经网络和冯诺依曼瓶颈

同时,对大型数据集的大部分分析都属于神经网络。

神经网络的工作原理是计算矩阵的积和。将数据矩阵加载到数组中,并将每个元素乘以预定权重。在大多数情况下,结果将传递到网络的下一层并乘以一组新的权重。经过几个这样的步骤,就能得出关于数据是什么的结论。这有点像猫,可疑的行为模式,或者某种特殊的电活动。

在训练阶段,将网络的结论与先前已知的“正确”答案进行比较。然后,一个称为反向传播的过程使用预测值和正确值之间的差异向上或向下调整网络每个层中的每个权重。

从概念上讲,这种方法非常简单。但实际上,数据集很大,计算步骤也很大。ImageNet图像分类基准测试中表现最佳的是使用具有6000万个参数的8层神经网络。一次通过算法获得一个图像需要200亿次操作。

对于网络的每一层,现有权重和每个训练示例的元素都被加载到处理器的寄存器中,然后相乘,并将结果写回到存储器中。性能瓶颈不是计算,而是处理器和存储器阵列之间的带宽。存储器和处理器之间的这种分离是冯·诺依曼架构的定义特征之一,并且存在于几乎所有现代计算系统中。

大数据集,带宽受限的机器学习工作负载以及Dennard扩展的结束正在将行业基准从原始计算性能转变为计算效率。对于给定的任务,硅片面积,功耗和计算精度之间的最佳平衡是什么?

低精度,模拟内存,高精度

IBMResearchAlmaden的副总裁兼实验室主任JeffWelser在一次IEDM演示中指出,神经网络计算通常不需要高计算精度。16位计算模块使用等效32位块所需的四分之一电路空间,并将所需的数据量减半。即使使用传统架构,降低精度算法也可以显着提高计算效率。

克服内存瓶颈的需求也在推动更激进的计算内存架构。在这种体系结构的最简单视图中,预先确定的权重存储在非易失性内存元素数组中。将输入数据加载在内存字行上,并对来自单个单元格的电流求和。

究竟如何在硬件中实现这样的方案是正在进行的研究的主题。业界已经提出了数字和模拟解决方案。

例如,数字阵列可以由闪存元件组装而成。明尼苏达大学的研究人员展示了兼容CMOS的eflash存储单元,它将电荷存储在控制栅极和通道之间的浮动栅极上。在这样的阵列中,可以通过完善的集成电路设计精确地控制特定权重值和它们改变的速率(学习速率)。这种方法很有吸引力,因为它依赖于成熟,易于理解的组件技术。

然而,机器学习应用中感兴趣的许多数据本质上是模拟的。斯坦福大学和加州大学伯克利分校的研究员Xin Zheng及其同事观察到,通过使用固有存储模拟值的RRAM等存储元件,可以避免模数转换和数模转换及其相关的能耗和硅足迹。然而,目前可用的模拟存储器元件带来了一系列新的挑战。

当数字元件处于开启或关闭状态时,模拟元件可以具有一系列值。给定信号存储的值取决于设备的属性。在丝状RRAM中,电阻随着导电细丝在器件的端子之间形成而下降。一系列弱编程脉冲可能会产生弱细丝,而强脉冲会产生更强的细丝。因此,存储给定值所需的脉冲强度和数量取决于长丝形成的动力学。学习速率取决于电阻状态与从一个状态移动到下一个状态所需的脉冲数之间的分离。

对于推理任务,可以使用传统CMOS逻辑计算权重,然后将其存储在RRAM阵列中。使用给定数量的编程脉冲实现的精确值可能因设备而异,但模拟表明在面对这些变化时总体精度是稳健的。

然而,对于学习任务,随着修正在网络中的传播,个体权重需要上下调整。不幸的是,当前的RRAM设备通常具有对SET和RESET脉冲有不对称响应。简单地改变编程脉冲的符号不会在相反的方向上产生相等的调整。这种不对称性是学习任务在记忆中实现的一个主要问题。

耐力,稳定性和可重复性

如上所述,清华大学的研究生Meiran Zhao表示,学习任务还需要大量的数据和非常多的重量更新,大约10 5和10 7。针对传统存储应用设计的RRAM阵列的测试将设备寿命放在相同的范围内。然而,数据存储应用需要数字值——一个设备是开着的还是关着的——并且通常使用足够强的设置和重置脉冲来创建或移除一根强导电丝。如果使用弱脉冲代替,赵的小组表明模拟切换在超过10 11之后没有失败更新脉冲,尽管学习准确度确实降低到超过10 9个更新脉冲。

所需的大量训练周期也会威胁存储的重量值的稳定性。在RRAM装置中,灯丝的导电率由灯丝体积内的氧空位浓度决定。该浓度又由施加的电压脉冲控制。但是,不可能精确控制个别职位空缺的位置。当它们在器件内迁移时,无论是在电压梯度的影响下还是在热激发后,精确的电阻都会发生变化。

另一种非易失性存储器,即电化学RAM,试图解决丝状RRAM的局限性。当RRAM是双终端设备时,ECRAM是三终端设备。施加到第三端子的电压控制离子从LiPON电解质层插入到WO 3导体中。电阻取决于氧化还原反应,该反应可以在开启和关闭方向上精确且可重复地控制。

超越神经网络

卷积神经网络是最常见的机器学习技术,但它不一定是最好的。新兴存储器设备的非线性概率行为对于某些算法来说是一个挑战,但对其他算法来说可能是一个优势。

例如,生成对抗网络使用一个神经网络为另一个生成测试示例。当“鉴别器”网络能够区分真实数据和“发生器”网络生成的示例时,它就是成功的。

因此,鉴别器网络可以通过显示由发生器网络创建的一组非小狗图像来学习识别小狗的照片。生成对抗性网络算法的一个挑战是生成测试示例,这些测试示例涵盖了所有感兴趣的真实情况。“模式丢弃”,其中生成的示例聚集在有限数量的类别周围,可能会由于RRAM网络固有的随机性而减少。同样的非线性行为使得精确的权重难以存储,这可能导致更多的测试示例。

RRAM行为与历史有关。给定的重置脉冲实际重置设备的概率会随着之前设置的脉冲数的增加而降低。Imec的一个小组使用这种行为作为时间序列学习规则的基础 - 在时间t有效的装置用于预测在时间t +Δ处有效的装置。将该预测与实际数据进行比较,然后通过SET脉冲加强具有正确预测的设备,而通过RESET脉冲削弱具有不正确预测的设备。训练之后,将得到的网络拓扑用作生成新数据序列的模型。

最后,密歇根大学的研究人员将RRAM交叉开关阵列与随机导电桥存储器件结合使用,通过模拟退火来解决“自旋玻璃”优化问题。自旋玻璃问题源于物理学,但也适用于许多其他领域,它试图寻找相互作用自旋的随机二维阵列的最低能量状态。模拟退火随机翻转一组单个自旋,保留那些减少系统总能量的翻转,然后降低系统温度并重复该过程。密歇根集团利用CBRAMS的随机切换概率来降低找到局部最小状态而不是真正的最低能量状态的风险。

内存计算展望未来

从历史上看,电子设备研究首先出现,然后电气工程师和软件开发人员学会了如何利用新功能。

在过去的几年里,新兴的存储设备已经从实验室的奇思妙想,到令人失望的闪存替代品,再到新机器学习方法的推动者。

接下来的几年将展示半导体行业是否可以使用这些设备来帮助管理它正在帮助创建的数据大爆炸。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 内存计算
    +关注

    关注

    1

    文章

    15

    浏览量

    12110
  • 大数据
    +关注

    关注

    64

    文章

    8576

    浏览量

    136515

原文标题:数据大爆炸?让人焦虑的内存计算怎么克服?

文章出处:【微信号:eda365wx,微信公众号:EDA365电子论坛】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    系统内存和运行内存的区别

    的区别。 首先,系统内存是指计算机中存储程序和数据的硬件设备,也被称为主存或内存条。它是计算机用来临时存储
    的头像 发表于 01-15 16:32 493次阅读

    LPDDR5X来袭!准备迎接内存速度大爆炸

    如今,智能、互联和带宽密集型应用依赖于超快、低延迟的内存访问,以实现我们日常生活所依赖的一系列功能。那么,什么样的技术能够满足这些要求?答案就是LPDDR5X SDRAM JEDEC标准,它是LPDDR5的可选扩展。
    的头像 发表于 12-18 17:19 821次阅读
    LPDDR5X来袭!准备迎接<b class='flag-5'>内存</b>速度<b class='flag-5'>大爆炸</b>!

    jvm管理的内存包括哪几个运行时数据内存

    JVM(Java虚拟机)是Java程序的运行环境,它提供了内存管理机制来管理Java程序所需的运行时数据内存。这些运行时数据内存包括堆
    的头像 发表于 12-05 14:09 170次阅读

    科技云报道:再现降价潮背后:云厂商们的“焦虑

    降价背后云厂商的增长焦虑
    的头像 发表于 11-27 15:15 491次阅读

    解决AGV/AMR“电量焦虑”的方法

    正如部分人对手机电量有着电量焦虑一样,AGV/AMR的充电问题也一直被关注着。
    的头像 发表于 11-09 10:31 538次阅读

    什么是电池的爆炸?怎样预防电池爆炸

    什么是电池的爆炸?怎样预防电池爆炸? 电池的爆炸是指电池在使用或处理过程中发生异常爆炸情况,导致严重的人员伤亡和物质损失。一般来说,电池爆炸
    的头像 发表于 11-06 10:56 509次阅读

    深度解析三星内存处理技术(PIM)

    在Hot Chips 2023上,三星展示了内存技术,内存的主要成本是将数据从各种存储和内存位置传输到实际的计算引擎。
    发表于 10-07 11:03 477次阅读
    深度解析三星<b class='flag-5'>内存</b>处理技术(PIM)

    电容会爆炸吗 电容在什么情况下会爆炸

    电容会爆炸吗 电容在什么情况下会爆炸  电容是电子元件中常见的一种,它主要用于电路中的储能和滤波等功能。但是,在某些情况下,电容也会出现一些比较危险的事故,如爆炸等。本文将详细介绍电容的爆炸
    的头像 发表于 09-04 15:43 4192次阅读

    盘古模型概念是什么 盘古大模型的特点

    盘古模型概念是什么 盘古大模型的特点  盘古模型是指一个宏大的宇宙模型,涉及到物理学、天体物理学、宇宙学等多个学科领域。这个模型设想了宇宙起源时的情景,将“大爆炸”和“奇点理论”等宇宙学理论与宇宙
    的头像 发表于 08-31 10:11 4784次阅读

    服务器内存和台式机内存有什么区别?

    服务器是为不同地点的不同计算机提供数据存储和网络便利的新模式。现在,它已成为任何人安全存储数据并进行良好维护的选择。服务器也是通过其高功率硬件和功能为多台计算机提供动力的重要来源。台式
    的头像 发表于 08-23 17:32 2936次阅读

    如何快速地机器投入生产

    一帧。 而机器能提供些什么动作呢?它主要提供几个圆的转动和距离。难度多是三维坐标以及圆形,三角形的计算。如果要更智能,需要加入眼睛,耳朵等其它功能。它主要要生产一个产品的建模数据。或者障碍物,设备
    发表于 06-06 16:18

    计算机的内存和外存别再分不清了

    内存,是大家对内部存储器的简称,当然,我们也可以叫内部存储器为主存。它是计算机中最重要的部件之一。** 内存计算机运行过程中存放需要运行的程序和
    的头像 发表于 05-26 11:03 6961次阅读
    <b class='flag-5'>计算</b>机的<b class='flag-5'>内存</b>和外存别再分不清了

    机器如何计算简单的运动

    模型要具备齿轮,导轨几种基本的运动原理。 要分辨基本图形,视觉模型要能分辨圆形,方形和三角形。 有了这两点,机器就基本上能计算开模和注塑这种简单的工作了。要替代人类的工作,还要进一步学习。
    发表于 05-19 20:40

    面对ChatGPT,中国AI可以不疾不徐不焦虑

    何必焦虑ChatGPT?中国AI自有一江风月
    的头像 发表于 04-03 21:12 399次阅读

    计算机基础知识之内存

    计算机是进行 「数据处理」 的设备,而程序表示的就是处理顺序和数据结构。由于处理对象(数据)是存储在 「内存」 和 「磁盘」 上的,因此我们
    的头像 发表于 03-31 16:14 1099次阅读
    <b class='flag-5'>计算</b>机基础知识之<b class='flag-5'>内存</b>