侵权投诉

工程师为AI瓶颈提供明智,及时的想法

2020-07-07 14:51 次阅读

赖斯大学的研究人员已经展示了设计创新的以数据为中心的计算硬件以及与机器学习算法共同设计硬件的方法,这些算法可以共同将能源效率提高两个数量级。

机器学习的进步,无人驾驶汽车背后的人工智能形式以及许多其他高科技应用,已经开创了计算的新时代(以数据为中心的时代),并迫使工程师们重新考虑具有消失了75年

“问题在于,对于当今机器学习最先进的大规模深度神经网络而言,运行整个系统所需的90%以上的电力都消耗在内存和处理器之间的数据移动中”,电气与计算机工程学助理教授林颖妍说。

林和合作者提出了优化数据中心处理的两个互补的方法,这两者都呈现6月3日在国际研讨会上的计算机体系结构(ISCA),最大的会议为新的思路和研究的一个计算机体系结构。

以数据为中心的体系结构的驱动与一个称为von Neumann瓶颈的问题有关,这种效率低下的原因是自数学家约翰·冯·诺伊曼(John von Neumann)于1945年发明内存以来,计算结构中内存和处理的分离一直占主导地位。从程序和数据来看,冯·诺伊曼(von Neumann)架构使单台计算机具有难以置信的通用性。根据从内存中加载的存储程序,可以使用计算机进行视频通话,准备电子表格或模拟火星上的天气。

但是将内存与处理分开也意味着即使简单的操作(如加2加2)也需要计算机处理器多次访问内存。深度神经网络中的大量操作使这种记忆瓶颈变得更糟,深度神经网络是通过“研究”大量先前示例来学习做出人性化决策的系统。网络越大,它可以完成的任务就越困难,并且显示的网络示例越多,它的执行效果就越好。深度神经网络训练可能需要专门的处理器库,这些处理器需要全天候运行一周以上。基于智能网络在智能手机上执行任务可以在不到一个小时的时间内耗尽电池电量。

赖斯的高效和智能计算(EIC)实验室主任Lin说:“对于机器学习时代的以数据为中心的算法,我们需要创新的以数据为中心的硬件体系结构。” “但是,机器学习的最佳硬件架构是什么?

“没有一个万能的答案,因为不同的应用需要机器学习算法,这些算法在算法结构和复杂性方面可能有很大差异,同时具有不同的任务准确性和资源消耗(例如能源成本,延迟和吞吐量),需要权衡取舍要求。”她说。“许多研究人员正在为此进行研究,像英特尔,IBM和Google这样的大公司都有自己的设计。”

Lin小组在ISCA 2020上的演讲之一在TIMELY上提供了结果,TIMELY是她和她的学生为“内存中处理”(PIM)开发的一种创新架构,这种非冯·诺依曼方法将处理引入内存阵列。一个有前途的PIM平台是“ 电阻式随机存取存储器 ”(ReRAM),类似于闪存的非易失性存储器。虽然提出了其他ReRAM PIM加速器架构,但Lin表示,在10多个深度神经网络模型上进行的实验发现,TIMELY的能源效率高18倍,并且交付的计算密度是最有竞争力的最新技术的30倍以上ReRAM PIM加速器。

TIMELY代表“时域,内存中执行,LocalitY”,它通过消除导致效率低下的主要因素来实现其性能,这种效率低下是由于频繁访问主存储器以处理中间输入和输出以及本地和主存储器之间的接口而引起的。回忆。

在主存储器中,数据以数字方式存储,但是当将其带入本地存储器以进行内存中处理时,必须将其转换为模拟量。在以前的ReRAM PIM加速器中,结果值从模拟转换为数字,然后发送回主存储器。如果将它们从主存储器调用到本地ReRAM以进行后续操作,则它们将再次转换为模拟信号,依此类推。

通过使用本地存储器中的模拟格式缓冲区,及时避免了不必要的访问主存储器和接口数据转换的开销。这样,TIMELY几乎可以将所需的数据保留在本地存储阵列中,从而大大提高了效率。

该小组在ISCA 2020上提出的第二个建议是SmartExchange,该设计结合了算法和加速器硬件创新以节省能源。

“访问主存储器 DRAM的能量要比执行计算多花费200倍,因此SmartExchange的关键思想是在算法中强制执行结构,使我们可以将成本较高的内存换成成本更低的内存,成本计算。”

她举例说:“例如,我们的算法有1000个参数。” “在传统方法中,我们将所有1,000个存储在DRAM中,并根据计算需要进行访问。使用SmartExchange,我们搜索以找到这1,000个中的某些结构。然后,我们只需要存储10个,因为如果我们知道它们之间的关系, 10和其余的990,我们可以计算990中的任何一个,而不必从DRAM调用它们。

她说:“我们将这10个称为“基础”子集,其想法是将它们存储在靠近处理器的本地位置,以避免或大幅度减少为访问DRAM而支付的费用。

研究人员使用SmartExchange算法及其自定义的硬件加速器对七个基准深度神经网络模型和三个基准数据集进行了实验。他们发现,与最先进的深度神经网络加速器相比,该组合将等待时间减少了多达19倍。

收藏 人收藏
分享:

评论

相关推荐

中国移动以“畅享5G,智造无际”主题参展示5G新基建最新进展

2020年10月14日-10月16日,以网融万物 智向未来为主题的2020年中国国际信息通信展览会在....
的头像 资治通信 发表于 10-20 12:03 80次 阅读
中国移动以“畅享5G,智造无际”主题参展示5G新基建最新进展

工业互联网如何改变企业的商业模式?

企业管理是务实的,需要看到切实的价值才愿意投入。工品行结合实际应用情况,从工业品采购方面分享工业互联....
的头像 我快闭嘴 发表于 10-20 11:59 92次 阅读
工业互联网如何改变企业的商业模式?

医疗健康数字化技术将会带来颠覆式创新

医疗健康作为关系国计民生的重要产业,数字化技术将会带来颠覆式创新,重塑整个医疗健康产业生态。在医疗健....
的头像 Les 发表于 10-20 11:56 38次 阅读
医疗健康数字化技术将会带来颠覆式创新

AI换脸不断引来争议,需要不断完善

2018年以来,一些关于“AI换脸”的热点事件和争议开始逐步发酵,如2019年引爆网络的一款名为“Z....
的头像 电子魔法师 发表于 10-20 11:56 63次 阅读
AI换脸不断引来争议,需要不断完善

5G是人民安稳、幸福的压舱石

随着中国的疫情防控迎来常态化,全国各地复工复产加速度,发展新一代信息技术在新一轮经济发展中发挥了重要....
的头像 通信视界 发表于 10-20 11:40 78次 阅读
5G是人民安稳、幸福的压舱石

ML和AI的区别

我们不得不怀疑人工智能到底有多“真实”。Liberman建议:“为了从语音分析中提供真实的情报,我们....
的头像 我快闭嘴 发表于 10-20 11:34 58次 阅读
ML和AI的区别

中国国际信息通信展览会在北京隆重召开

2020年10月14日,中国国际信息通信展览会在北京国家会议中心隆重召开。为5G运营商、厂商与传统行....
的头像 通信视界 发表于 10-20 11:09 72次 阅读
中国国际信息通信展览会在北京隆重召开

华为:拥抱数字化机遇,共建智能世界

10月14日,在2020中国国际信息通信展览会数字经济领导者论坛上,华为公司战略部总裁张文林,发表了....
的头像 通信视界 发表于 10-20 11:06 49次 阅读
 华为:拥抱数字化机遇,共建智能世界

AI动作和应用场景依赖于合适的传感器来完成

事实上,非常多的AI动作和应用场景依赖于合适的传感器来达成。相比于隔壁几个领域的锣鼓喧天,这个领域确....
的头像 电子魔法师 发表于 10-20 11:05 68次 阅读
AI动作和应用场景依赖于合适的传感器来完成

边缘人工智能带来RISC-V繁荣

恩智浦半导体公司边缘处理业务高级副总裁兼总经理Ron Martino说:“ NXP的可扩展应用处理器....
的头像 我快闭嘴 发表于 10-20 10:50 72次 阅读
边缘人工智能带来RISC-V繁荣

光传送网领域在光模块发展上易于实现光芯片和电芯片的混合集成?

在日前举办的“中国之光高峰论坛暨2020中国光通信产业发展大会”上,中国信通院技术与标准研究所宽带网....
的头像 lhl545545 发表于 10-20 10:48 38次 阅读
光传送网领域在光模块发展上易于实现光芯片和电芯片的混合集成?

快讯:哈佛与索尼合作打造了一个迷你外科手术机器人

机器人初创公司将于明年向太空发射带有集成传感和计算功能的先进自主操纵机器人。S1将搭载在由NanoR....
的头像 机器人大讲堂 发表于 10-20 10:42 69次 阅读
快讯:哈佛与索尼合作打造了一个迷你外科手术机器人

VR产业正全面进入高速发展期

第二类企业,则更看重研发技术的时间成本,故而直接购买国外的技术设备。但时间节省了,技术的落地成本又难....
发表于 10-20 10:40 56次 阅读
VR产业正全面进入高速发展期

手机厂商入局电视行业抓住机遇,也要避免AIoT成为伪需求

OPPO 开发者大会上留下的悬念终于揭晓了。10 月 19 日晚,OPPO 正式发布了三款智能电视产....
发表于 10-20 10:32 41次 阅读
手机厂商入局电视行业抓住机遇,也要避免AIoT成为伪需求

大华股份Q3单季度收入实现了12.5%的同比增幅

同时,前两个季度因受疫情影响而带来的红外测温等收入在Q3也基本得到延续。Q3计提了3个多亿扣非利润,....
的头像 MEMS 发表于 10-20 10:22 58次 阅读
大华股份Q3单季度收入实现了12.5%的同比增幅

采用LabVIEW开发平台实现振动信号分析系统的设计和应用研究

随着现代化工业大生产的不断发展,机械设备的结构变得越来越复杂,并且经常运行于高速、重载以及恶劣环境等....
的头像 电子设计 发表于 10-20 10:19 51次 阅读
采用LabVIEW开发平台实现振动信号分析系统的设计和应用研究

如何应对物联网的网络威胁?

越来越多的网络攻击开始出现,我们经常可以看到这样的新闻,例如“黑客组织利用物联网设备漏洞攻击企业网络....
的头像 我快闭嘴 发表于 10-20 10:13 103次 阅读
如何应对物联网的网络威胁?

中国移动携手深信服共筑云网安新体系,助力企业乘云破浪

深信服深知,要想成为政企用户数字化转型的左膀右臂,就必须不断升级业务战略。为此,深信服与中国移动开启....
的头像 lhl545545 发表于 10-20 10:09 51次 阅读
中国移动携手深信服共筑云网安新体系,助力企业乘云破浪

手机厂商为何要跨界进入电视市场?

此外,电视行业的主要成本在于液晶面板。价格战越演愈烈的今天,有行业人士曾戏言,电视厂商主要是为面板厂....
的头像 我快闭嘴 发表于 10-20 10:07 73次 阅读
手机厂商为何要跨界进入电视市场?

上海提出“一网统管”构建了一个观管防的体系?

大家往往会会把城市大脑和智慧城市搅在一起。从我们的理解来看,我觉得城市大脑是新型智慧城市建设中的一个....
的头像 lhl545545 发表于 10-20 09:57 61次 阅读
上海提出“一网统管”构建了一个观管防的体系?

雪球数据库可提供单表千亿级别交互式极速的数据查询引擎?

本次峰会由猎云网主办,猎云资本、企业管家、猎云财经、锐视角协办,近百位知名资本大咖,独角兽创始人、创....
的头像 lhl545545 发表于 10-20 09:54 76次 阅读
雪球数据库可提供单表千亿级别交互式极速的数据查询引擎?

宾果智能通过多领域多维度人工智能技术发展AI在不同场景中的落地应用

商业模式对于人工智能的落地非常重要,闵海波认为确定产品采取的交付形式,可以是产品交付、也可以是服务交....
的头像 lhl545545 发表于 10-20 09:49 134次 阅读
宾果智能通过多领域多维度人工智能技术发展AI在不同场景中的落地应用

人工智能技术为VIPKID企业以及用户,带来了哪些方面的优化?

在批改作业环节,采用OCR批可以将效率提高30%,而且可以保证每个学生得到非常详细的作业批改。以前一....
的头像 lhl545545 发表于 10-20 09:42 114次 阅读
人工智能技术为VIPKID企业以及用户,带来了哪些方面的优化?

疫情期间机器人发挥了哪些作用?

ONR机器人计划的重点是将人类从危险的环境中解救出来。此外,该项目还希望机器人执行日常任务,以便让水....
的头像 我快闭嘴 发表于 10-20 09:34 220次 阅读
疫情期间机器人发挥了哪些作用?

人工智能项目失败的三个原因

与其相反,人们会听到在所有这些不同行业中如何部署和实施人工智能的所有巨大成功。这全是宣传和炒作,是关....
的头像 我快闭嘴 发表于 10-20 09:04 150次 阅读
人工智能项目失败的三个原因

AI战歌起 AI人才生态百度之星的“神奇滤镜”是怎样炼成的?

第二次世界大战结束前,担心历史重演的罗斯福总统询问国家科技局长:战争结束以后,我们要做些什么? 这位....
的头像 脑极体 发表于 10-20 05:23 92次 阅读
AI战歌起 AI人才生态百度之星的“神奇滤镜”是怎样炼成的?

全景解密量子信息技术一文看懂

本期内参来源:中国信通院 IPRdaily中文网 量子信息技术总体发展态势 随着人类对于量子力学原理....
的头像 inr999 发表于 10-19 18:07 145次 阅读
全景解密量子信息技术一文看懂

AI技术在制造业中的作用是什么?

对于新手或初级工程师来说,这可能会很有帮助,他们可能没有在该领域工作多年的工程师所拥有的丰富设计经验....
的头像 我快闭嘴 发表于 10-19 17:23 550次 阅读
AI技术在制造业中的作用是什么?

浙江大学实验室发布国内首台类脑计算机

据《半月谈》消息,近日浙江大学联合之江实验室发布了国内首台类脑计算机,该计算机包含1.2亿个脉冲神经....
的头像 电子魔法师 发表于 10-19 17:14 452次 阅读
浙江大学实验室发布国内首台类脑计算机

AI智能化导致电力运检变化正在发生

丘陵山间,茂林深处,激流河谷无论是闷热异常还是狂风大雨,只要有输电铁塔或电力基站的地方,常常能看到几....
的头像 Les 发表于 10-19 17:05 139次 阅读
AI智能化导致电力运检变化正在发生

由区块链和AI加持的能源交易平台正式运行,应对智能电网电力挑战

由区块链和人工智能技术加持,全球首个高频分布式能源交易平台试运行,为应对微电网可再生电力挑战提供解决....
发表于 10-19 17:04 167次 阅读
由区块链和AI加持的能源交易平台正式运行,应对智能电网电力挑战

世界上最快的独立内存是怎样开发出来的

每一天,全球的工程师们都在努力构建并完善最快的系统,以便快速传输数据,从数据中创造现实,从数据中获取....
的头像 inr999 发表于 10-19 16:58 147次 阅读
世界上最快的独立内存是怎样开发出来的

社交型机器狗KODA在美国问世,具备实用性和情感交互的功能

2020 年 10 月 12 日,一条未来概念的社交型机器狗——KODA,在美国加利福尼亚州山景城问....
的头像 如意 发表于 10-19 16:27 182次 阅读
社交型机器狗KODA在美国问世,具备实用性和情感交互的功能

缘泰石油AI智能石化工厂助力数字福建

第三届数字中国建设峰会在福州市海峡国际会展中心顺利召开,峰会由国家发改委、工信部、网信办、福建省政府....
的头像 inr999 发表于 10-19 16:17 217次 阅读
缘泰石油AI智能石化工厂助力数字福建

未来的AI计算领域,将是CPU、GPU、IPU并行

AI近些年的大火,直接促进了CPU和GPU的发展,而英伟达的GPU真正借此迅速成为AI市场的主流产品....
的头像 如意 发表于 10-19 16:04 152次 阅读
未来的AI计算领域,将是CPU、GPU、IPU并行

AI的发展,致使IPU可以基于自身优势为世界的智能化进程增添不竭动力

AI近些年的大火,直接促进了CPU和GPU的发展,而英伟达的GPU真正借此迅速成为AI市场的主流产品....
的头像 Les 发表于 10-19 15:45 113次 阅读
AI的发展,致使IPU可以基于自身优势为世界的智能化进程增添不竭动力

5G高低频组网是什么意思?

目前,全球5G网络建设正处于如火如荼的阶段。根据数据统计,截止2020年8月,全球已有92个5G商用....
的头像 inr999 发表于 10-19 15:44 77次 阅读
5G高低频组网是什么意思?

AI、自动化及数字资产开始交汇,共同形成金融领域的未来趋势

一些初创企业正在运用最新技术,颠覆规模最大、历史最悠久的金融领域。面对无穷无尽的主题基金与晦涩难懂的....
的头像 如意 发表于 10-19 15:28 182次 阅读
AI、自动化及数字资产开始交汇,共同形成金融领域的未来趋势

AI技术为制造业转型升级带来新的活力

在制造模式的不断演进之下,部分新的模式逐渐成形,主要包括电子商务、数字化制造、“云平台+”制造、网络....
的头像 我快闭嘴 发表于 10-19 15:18 259次 阅读
AI技术为制造业转型升级带来新的活力

Facebook正在研究神经网络芯片的新平台

CEA-Leti副首席执行官兼首席技术官Jean Rene Lequeypes说:“有新一代技术正在....
的头像 我快闭嘴 发表于 10-19 14:25 233次 阅读
Facebook正在研究神经网络芯片的新平台

英文胜在口语,中文胜在书面语,谁能成为AI的母语?

人工智能是当前很热门的技术,各国都在投入资金和人力进行研究。谁错过了人工智能,谁就丢掉了未来。语言文....
的头像 如意 发表于 10-19 14:18 97次 阅读
英文胜在口语,中文胜在书面语,谁能成为AI的母语?

XR技术如何驱动产业变革?

“这仅仅是开始。XR赋能的更丰富体验和应用场景还等待我们去勾勒,这正是XR技术令人兴奋的原因。它将为....
的头像 我快闭嘴 发表于 10-19 14:17 273次 阅读
XR技术如何驱动产业变革?

清华大学计算机系首次提出“类脑计算完备性”

昨日,清华大学计算机科学与技术系(以下简称计算机系)张悠慧团队、精密仪器系(以下简称精仪系)施路平团....
的头像 inr999 发表于 10-19 14:16 233次 阅读
清华大学计算机系首次提出“类脑计算完备性”

京东数科为何要构建芯片生产活跃度指数?

集成电路在通信、工业自动化等领域有着广泛的应用,是现代信息社会的基石,其制造过程反映了国家的高端制造....
的头像 我快闭嘴 发表于 10-19 14:04 571次 阅读
京东数科为何要构建芯片生产活跃度指数?

社交型机器狗KODA问世,具备实用性和情感交互功能

2020 年 10 月 12 日,一条未来概念的社交型机器狗KODA,在美国加利福尼亚州山景城问世。....
的头像 工程师邓生 发表于 10-19 13:50 256次 阅读
社交型机器狗KODA问世,具备实用性和情感交互功能

Lightmatter将在2021年发布人工智能光子处理器

结果是,移动数据所需的能量更少,这为传统的处理和用于人工智能推理工作负载的互连提供了一种节能的替代方....
的头像 我快闭嘴 发表于 10-19 11:54 765次 阅读
Lightmatter将在2021年发布人工智能光子处理器

如何利用AI和ML来提高网络的效率?

机器学习也被应用到整个接入网络的频谱损坏检测当中,允许自动诊断报告和缓解活动。快速识别缺陷可以减少对....
的头像 我快闭嘴 发表于 10-19 11:51 214次 阅读
如何利用AI和ML来提高网络的效率?

人们能否生活在一个AI和量子计算运行模拟的宇宙中?

人们生活在一个模拟的现实中的想法在普通人看来似乎是非传统的和非理性的,但这是这个时代许多最聪明的人的....
的头像 如意 发表于 10-19 11:50 312次 阅读
人们能否生活在一个AI和量子计算运行模拟的宇宙中?

L4级别自动驾驶技术全面成熟还需要10年时间?

10月15日,在中国国际信息通信展“5G+车联网生态发展高峰论坛”上,工信部科技司技术创新处处长介绍....
的头像 我快闭嘴 发表于 10-19 11:13 216次 阅读
L4级别自动驾驶技术全面成熟还需要10年时间?

下一代AI将是什么样子?

数字时代的主要挑战之一是数据隐私。由于数据是现代人工智能的命脉,因此数据隐私问题在AI的发展轨迹中扮....
的头像 我快闭嘴 发表于 10-19 10:51 184次 阅读
下一代AI将是什么样子?

浅谈对计算机系统内存寻址的理解

为了对存储器中的程序及数据实现保护和共享硬件支持,以及对实现虚拟存储器提供硬件支持,现代的CPU不仅采用了扩充的存储器段...
发表于 08-22 08:00 800次 阅读
浅谈对计算机系统内存寻址的理解

“账号密码”到生物识别哪个最安全?

根据美国咨询机构Transparency Market Research的预计,全球生物识别技术市场规模将从2015年的112.4亿美元,增长至2020年的2...
发表于 08-03 07:07 101次 阅读
“账号密码”到生物识别哪个最安全?

晶振的工作原理及功能作用

  晶振全称为晶体振荡器(英文CrystalOscillators),其作用在于产生原始的时钟频率,这个频率经过频率发生器的放大或缩小后...
发表于 07-06 11:30 186次 阅读
晶振的工作原理及功能作用

计算机高供高计计量方式的优缺点有哪些

  高供高计计量方式的优点是减少计量管理工作量,最大限度满足计量要求,可控性大;可以有效的防止用户窃电。但是这种方式也存...
发表于 06-28 10:22 209次 阅读
计算机高供高计计量方式的优缺点有哪些

学习计算机视觉的建议有哪些

初学计算机视觉的切身建议
发表于 06-18 10:12 153次 阅读
学习计算机视觉的建议有哪些

计算机网络基础

计算机网络基础——基础
发表于 06-16 07:50 98次 阅读
计算机网络基础

计算机视觉基础知识

计算机视觉基础题目
发表于 06-05 16:33 67次 阅读
计算机视觉基础知识

计算机操作系统

计算机操作系统-进程(2)进程的状态与转换
发表于 05-25 16:45 65次 阅读
计算机操作系统

未知情况下PICμC如何像NOP一样操作一些命令

问候语!这可能是一个非常愚蠢的问题,但我就是不明白,而且我的想法已经用完了。当我调试我的汇编程序代码MOVLW 0x10 AD...
发表于 04-28 08:20 219次 阅读
未知情况下PICμC如何像NOP一样操作一些命令

计算机运行速度为什么要追求

为何如此追求计算机运行速度
发表于 04-21 10:41 108次 阅读
计算机运行速度为什么要追求