0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

工程师为AI瓶颈提供明智,及时的想法

倩倩 来源:新经网 2020-07-07 14:51 次阅读

赖斯大学的研究人员已经展示了设计创新的以数据为中心的计算硬件以及与机器学习算法共同设计硬件的方法,这些算法可以共同将能源效率提高两个数量级。

机器学习的进步,无人驾驶汽车背后的人工智能形式以及许多其他高科技应用,已经开创了计算的新时代(以数据为中心的时代),并迫使工程师们重新考虑具有消失了75年

“问题在于,对于当今机器学习最先进的大规模深度神经网络而言,运行整个系统所需的90%以上的电力都消耗在内存和处理器之间的数据移动中”,电气与计算机工程学助理教授林颖妍说。

林和合作者提出了优化数据中心处理的两个互补的方法,这两者都呈现6月3日在国际研讨会上的计算机体系结构(ISCA),最大的会议为新的思路和研究的一个计算机体系结构。

以数据为中心的体系结构的驱动与一个称为von Neumann瓶颈的问题有关,这种效率低下的原因是自数学家约翰·冯·诺伊曼(John von Neumann)于1945年发明内存以来,计算结构中内存和处理的分离一直占主导地位。从程序和数据来看,冯·诺伊曼(von Neumann)架构使单台计算机具有难以置信的通用性。根据从内存中加载的存储程序,可以使用计算机进行视频通话,准备电子表格或模拟火星上的天气。

但是将内存与处理分开也意味着即使简单的操作(如加2加2)也需要计算机处理器多次访问内存。深度神经网络中的大量操作使这种记忆瓶颈变得更糟,深度神经网络是通过“研究”大量先前示例来学习做出人性化决策的系统。网络越大,它可以完成的任务就越困难,并且显示的网络示例越多,它的执行效果就越好。深度神经网络训练可能需要专门的处理器库,这些处理器需要全天候运行一周以上。基于智能网络在智能手机上执行任务可以在不到一个小时的时间内耗尽电池电量。

赖斯的高效和智能计算(EIC)实验室主任Lin说:“对于机器学习时代的以数据为中心的算法,我们需要创新的以数据为中心的硬件体系结构。” “但是,机器学习的最佳硬件架构是什么?

“没有一个万能的答案,因为不同的应用需要机器学习算法,这些算法在算法结构和复杂性方面可能有很大差异,同时具有不同的任务准确性和资源消耗(例如能源成本,延迟和吞吐量),需要权衡取舍要求。”她说。“许多研究人员正在为此进行研究,像英特尔,IBM和Google这样的大公司都有自己的设计。”

Lin小组在ISCA 2020上的演讲之一在TIMELY上提供了结果,TIMELY是她和她的学生为“内存中处理”(PIM)开发的一种创新架构,这种非冯·诺依曼方法将处理引入内存阵列。一个有前途的PIM平台是“ 电阻式随机存取存储器 ”(ReRAM),类似于闪存的非易失性存储器。虽然提出了其他ReRAM PIM加速器架构,但Lin表示,在10多个深度神经网络模型上进行的实验发现,TIMELY的能源效率高18倍,并且交付的计算密度是最有竞争力的最新技术的30倍以上ReRAM PIM加速器。

TIMELY代表“时域,内存中执行,LocalitY”,它通过消除导致效率低下的主要因素来实现其性能,这种效率低下是由于频繁访问主存储器以处理中间输入和输出以及本地和主存储器之间的接口而引起的。回忆。

在主存储器中,数据以数字方式存储,但是当将其带入本地存储器以进行内存中处理时,必须将其转换为模拟量。在以前的ReRAM PIM加速器中,结果值从模拟转换为数字,然后发送回主存储器。如果将它们从主存储器调用到本地ReRAM以进行后续操作,则它们将再次转换为模拟信号,依此类推。

通过使用本地存储器中的模拟格式缓冲区,及时避免了不必要的访问主存储器和接口数据转换的开销。这样,TIMELY几乎可以将所需的数据保留在本地存储阵列中,从而大大提高了效率。

该小组在ISCA 2020上提出的第二个建议是SmartExchange,该设计结合了算法和加速器硬件创新以节省能源。

“访问主存储器 DRAM的能量要比执行计算多花费200倍,因此SmartExchange的关键思想是在算法中强制执行结构,使我们可以将成本较高的内存换成成本更低的内存,成本计算。”

她举例说:“例如,我们的算法有1000个参数。” “在传统方法中,我们将所有1,000个存储在DRAM中,并根据计算需要进行访问。使用SmartExchange,我们搜索以找到这1,000个中的某些结构。然后,我们只需要存储10个,因为如果我们知道它们之间的关系, 10和其余的990,我们可以计算990中的任何一个,而不必从DRAM调用它们。

她说:“我们将这10个称为“基础”子集,其想法是将它们存储在靠近处理器的本地位置,以避免或大幅度减少为访问DRAM而支付的费用。

研究人员使用SmartExchange算法及其自定义的硬件加速器对七个基准深度神经网络模型和三个基准数据集进行了实验。他们发现,与最先进的深度神经网络加速器相比,该组合将等待时间减少了多达19倍。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    6617

    浏览量

    84032
  • AI
    AI
    +关注

    关注

    87

    文章

    26129

    浏览量

    263710
收藏 人收藏

    评论

    相关推荐

    如何入门硬件工程师

    想跨行业做硬件设计工程师,应该如何学习规划呢
    发表于 03-17 21:49

    企业老工程师和高校老师有啥区别

    电子工程师硬件
    电子发烧友网官方
    发布于 :2024年02月28日 17:50:00

    如何搞崩一个硬件工程师心态?试试对ta说这几句

    硬件工程师
    扬兴科技
    发布于 :2024年02月20日 18:05:49

    #人工智能 #FPGA 怎么成为一个合格的FPGA工程师

    fpga工程师
    明德扬助教小易老师
    发布于 :2023年12月18日 21:19:01

    电子工程师第一天上班就暴揍师傅。。。#科普 #示波器 #电子工程师 #打工日记

    电子工程师示波器
    安泰小课堂
    发布于 :2023年12月18日 17:36:12

    FPGA工程师需要具备哪些技能?

    、实践和不断的提升才能够达到专家级别。 结束语 FPGA技术的不断发展,数字电路设计和系统集成提供了更广泛的应用场景。作为FPGA工程师,需要不断探索和学习,跟随技术的发展,并将新技术
    发表于 11-09 11:03

    #FPGA 本科生也能成为FPGA研发工程师

    fpga工程师
    明德扬助教小易老师
    发布于 :2023年09月23日 08:05:36

    第46期中级电气工程师证已全部下发#硬声创作季

    工程师
    或许
    发布于 :2023年06月28日 07:44:21

    热门推荐:硬件工程师必备工具

    工程师在使用华秋DFM软件时,有哪些实用技能可以轻松掌握。 下图主要介绍在华秋DFM软件中,硬件工程师有哪些业务板块是适用的。 四、给硬件工程师提供的服务 1、PCB计价 一键DF
    发表于 06-21 10:15

    电子工程师必看书籍推荐#知识分享 #知识科普 #交流#硬声创作季

    电子工程师
    也许吧
    发布于 :2023年05月24日 10:47:34

    数字工程师如何学习模拟电路

    数字工程师如何学习模拟电路
    发表于 04-10 09:55