侵权投诉

被带宽限制的AI性能,怎么样才能让人工智能提供更好的性能?

2020-12-16 15:09 次阅读

在目前广泛应用于AI的内存方案中,包括片上存储、HBM和GDDR。

作者 | 吴优

人工智能经过几十年的发展,在数据爆炸时代正处于良性循环,大量的数据用于制造和训练神经网络,而后利用神经网络筛选并理解这些数据。

不过,我们仍然对于更好的人工智能有巨大需求,据Open AI的一份报告显示,从2012到2019年,人工智能训练集增长将近30万倍,每3.43个月翻一番,比摩尔定律快25000倍,在摩尔定律将近失效的今天,那么怎么样才能让人工智能提供更好的性能?

内存带宽限制人工智能模型本身

早在两年前,业内就有人提出,在计算能力和数据量足够的年代里,内存带宽才是人工智能发展的瓶颈。

德克萨斯高级计算中心(TACC)研究科学家曾在其2016年的报告《HPC系统中的内存带宽和系统平衡》中比较过去25年某些HPC服务器的浮点计算情况,结果显示内存、网络延迟和带宽大幅度落后于处理器性能,其中内存带宽大约每十年落后浮点计算4.5倍。

“一个非常有趣的现象是,内存对人工智能的限制一部分体现在人工智能模型本身,以及用来训练这些模型的数据量规模急剧增长。”Rambus 大中华区总经理苏雷在Rambus 2020中国设计峰会上说到。

根据苏雷的介绍,这种限制在人工智能传统训练模型和并行训练模型上均有体现。

传统神经网络训练通常只使用一个AI/ML引擎,即将神经网络模型和训练数据全都嵌入一颗芯片中,训练的数据在芯片中迭代循环,通过不断更新模型实现对数据的分类、识别和处理,这一场景下其性能直接取决于计算引擎和缓存速度、内存带宽。

为提高数据训练时间,具体多个AI/ML引擎的神经网络得以出现,这种方法是神经网络模型的完整副本同时嵌入多个芯片中,神经网络模型所需的训练工作量被均分到每一颗芯片中,多个芯片引擎并行处理训练集,进而提高训练时间。

并行方案的每一个训练步骤可分为两个阶段,每个阶段受到的带宽限制不尽相同。

在第一阶段,每个训练的并行引擎将通过它们的训练结果更新其模型副本,因此并行训练的每个芯片在运行完每一次训练迭代后,都会有不同的训练更新,因此这一阶段数据传输到芯片的速度直接取决于内存带宽的大小。

在第二阶段,即规约阶段(Reduction),需要每个引擎与所有其它引擎交互更新信息,让芯片彼此了解其它芯片的更新并接受来着其他芯片的更新,得以更新自己的模型,恢复模型间的同步,再次拥有相同的模型副本。显然,这一阶段的性能主要取决于芯片间链路带宽的限制。

HBM 2和GDDR 6,更多的内存选择

“为缩小内存带宽和高性能浮点计算之间的差距等问题,我们有新的系统架构和面向特定领域的硅,或者将更多的数据直接放在芯片上,以获得更高的带宽,更好的功率和更低的延迟,但是数据总是越来越大,需要更多的内存,所以依然需要在片外存储器和链路性能上取得突破。”Raymond Su表示。

在目前广泛应用于AI的内存方案中,片上存储(On-Chip Memory)就是Raymond Su所言的拥有最高带宽和功率效率但容量有限的方案,其他两种方案分别是HBM和GDDR,即DRAM解决方案。

HBM是一种基于3D堆栈工艺的高性能DRAM。第一代HBM诞生于2013年,最新一代HBM标准已经演进到HBM2E,能够支持12个DRAM的堆栈,内存容量高达每堆栈24GB,当传输速率达到每管脚3.6Gbps时,HBM2E可以实现每堆栈461GB/s的内存带宽。

由于HBM2E堆栈需要通过高达1700多条数据“线”的接口连接到相关处理器,远远超过标准PCB能够支持的范围,因此使用硅中介层作为连接内存堆栈和处理器的中介,在硅中介层中完成精细的数据走线,获得HBM接口所需数量的数据线数。

HBM2E通过堆叠技术实现高带宽和高容量,但由于硅中介层的使用,成本偏高。

GDDR是双倍数据传输率存储器,采用传统的方法将标准PCB和测试的DRAMs与SoC连接在一起,具有较高的带宽和较好的能耗效率,其缺点在于更难保证信号完整性和电源完整性。

比较256GB/s下HBM2和GDDR6,HBM2E的接口宽而慢,GDDR6的接口窄而快。HBM2占有面积优势和能耗优势,但GDDR6具有成本和方案工程上的实现优势。

HBM2与GDDR6内存解决方案的高带宽已经显而易见,不过想要真正落实到实现高性能人工智能的应用上,还需要IP供应商的支持,在HBM2和GDDR6内存解决方案的IP供应中,Rambus就扮演重要角色。

根据Rambus资深应用工程师曹汪洋在Rambus 2020中国设计峰会上的介绍,Rambus的HMB2E接口解决方案(PHY和控制器)专为AI/ML、HPC的高性能和低延迟而设计。Rambus HBM Gen2 PHY 完全符合JEDEC HBM2E标准,支持每个数据引脚高达3.6Gbps 的数据速率,总带宽因此达到461 GB/s。该接口具有8个独立信道,每个信道包含128位,总数据宽度为 1024 位,支持2、4、8 或 12个DRAM的堆栈高度。

Rambus GDDR6 PHY每个引脚的速度高达16 Gbps,可用于TSMC 7nm工艺,GDDR6接口支持2个信道,每个信道有16位,总数据宽度为32位。另外,Rambus GDDR6 PHY 每个引脚的速度高达16 Gbps,最高可提供 64 GB/s 的带宽。

在Rambus 2020中国设计峰会的交流环节,苏雷向雷锋网表示: “Rambus 是全球HBM IP技术的引领者,且在市场份额上排名第一,全球范围内拥有50多个成功案例,Rambus最新的Rambus HBM2E的方案可以实现全球最高的4Gpbs速率,GDDR6方案可以实现18Gbps速率,位于业界顶尖水平,这能够帮助客户的方案设计提供足够裕量空间,保证整个系统的稳定性,目前燧原已将选择了Rambus作为其下一代AI训练芯片的合作伙伴。”

高带宽之后,信号完整性也是挑战

在上述文章中提到,HBM和GDDR是可以为AI/ML提供高带宽,其中速率更高的GDDR6面临着信号完整性和电源完整性的挑战。

据雷锋网了解,信道中不同类型的损耗是影响信号完整性的主要因素,具体又可以分为插入损耗、反射和串扰,插入损耗产于介电损耗或金属电阻表面粗糙程度,主要通过较好的PCB和封装设计来控制。信号反射源于阻抗,最终会导致眼图闭合和信号丢失。串扰由于两个信号之间的电容电感耦合引起的,由于从信号中消除串扰的电路很复杂,因此串扰是GDDR6 DRAM信号完整性最具挑战性的问题。

针对信号完整性问题,苏雷表示:“ 要确保信号的完整性,就需要从发送端到接收端进行的完整系统建模,需要采用协同设计的方案。Rambus 的GDDR6 PHY解决方案可以稳定在18Gbps并确保传输眼图清晰,走在业界最前列。在高速的传输下,还需要对电路板上的封装设计进行建模,使用比如DFE和反转等技术,可以提高性能让眼图更好的打开 。”

当然除了信号完整性和电源完成性,DRAM数据速率的增长还导致更多其他的问题,“我们需要做的还是兼顾能耗的制约,不断找寻和提升内存带宽的方法,为AI/ML更高的性能。”苏雷说道。

责任编辑:PSY

收藏 人收藏
分享:

评论

相关推荐

RK3399在AI人脸识别中的应用-飞凌嵌入式

结合人工智能的热门概念,人脸识别终端应运而生,很多小区、写字楼、商超等都启用了 人脸识别终端,设备同....
的头像 栾新科 发表于 10-28 18:21 14次 阅读
RK3399在AI人脸识别中的应用-飞凌嵌入式

云联万物 数智未来 大华股份重磅发布Dahua Think #战略

大华发布了一站式的人工智能开发平台——大华巨灵平台,体系化的物联数智平台——城市平台2.0、企业平台....
发表于 10-28 17:10 71次 阅读
云联万物 数智未来 大华股份重磅发布Dahua Think #战略

英特尔为开发者注入强劲动力,实现Z级计算指日可待

计算正在CPU、GPU、应用加速器、互联处理器、边缘计算设备和FPGA的异构组合中延伸,所有这些都需....
的头像 话说科技 发表于 10-28 17:08 43次 阅读

神州云动CRM签约华控清交 驱动销售业绩增长

近日,国内专注密文计算体系的数据流通基础设施建设企业华控清交与神州云动CloudCC达成合作,共同打....
的头像 科讯视点 发表于 10-28 16:24 89次 阅读
神州云动CRM签约华控清交 驱动销售业绩增长

DPU为前所未有的数据中心转型提供动力

锁定 2021 年 11 月 8 日至 11 日,准备好继续提升在 4 月 GTC 大会上学到的知识....
的头像 NVIDIA英伟达企业解决方案 发表于 10-28 15:32 134次 阅读

NVIDIA中国人工智能类音频节目再次开讲

由 NVIDIA 中国隆重推出的人工智能类音频节目再次开讲啦,在这里,你将与 NVIDIA 共同见证....
的头像 NVIDIA英伟达企业解决方案 发表于 10-28 15:17 112次 阅读

NVIDIA发布高性能感知技术的最新项目

自主机器人所面临的关键挑战之一是感知和理解周围的世界。 在 ROS World 2021 上,NVI....
的头像 NVIDIA英伟达企业解决方案 发表于 10-28 15:05 95次 阅读
NVIDIA发布高性能感知技术的最新项目

NVIDIA驾驶飞往未来的“宇宙飞船”

NVIDIA 首席技术官 Michael Kagan,是以色列计算机技术领域最资深的专家之一。从大学....
的头像 NVIDIA英伟达企业解决方案 发表于 10-28 14:43 88次 阅读

NVIDIA为机器人技术的飞跃制定了路线图

Pieter Abbeel 在 NTECH 2021(NVIDIA 年度内部工程会议)上发表了在线演....
的头像 NVIDIA英伟达企业解决方案 发表于 10-28 14:20 106次 阅读

持续深耕影像核心赛道,瞰瞰智能科技完成近亿元A轮融资

北京瞰瞰智能科技有限公司(以下简称“瞰瞰智能科技”)宣布完成近亿元人民币A轮融资,由芯动能领投,淳中....
的头像 西西 发表于 10-28 11:35 399次 阅读
持续深耕影像核心赛道,瞰瞰智能科技完成近亿元A轮融资

三星将在线上举行为期两天的2021三星人工智能论坛活动

2021年11月1日至11月2日,三星将在线上举行为期两天的2021三星人工智能论坛(Samsung....
的头像 三星半导体和显示官方 发表于 10-28 11:22 274次 阅读

英特尔正式宣布建立统一开发者平台Developer Zone

近日,英特尔公司正式宣布建立统一全新oneAPI 2022工具包和全新oneAPI卓越中心的开发者平....
的头像 lhl545545 发表于 10-28 11:18 145次 阅读

安霸收购雷达感知AI算法公司Oculii

近日,人工智能视觉芯片公司Ambarella宣布收购雷达感知AI算法公司Oculii,加入Ambar....
的头像 lhl545545 发表于 10-28 11:03 234次 阅读

资产追踪行业中速率通信的优选产品

随着生鲜电商崛起、人工智能、大数据、物联网等技术的爆发,多家巨头加码冷链物流,冷链物流产业发展进入新....
的头像 高新兴物联 发表于 10-28 11:03 175次 阅读

STMCube.AI的高级特性

STM32Cube.AI是意法半导体AI生态系统的一部分,是STM32Cube的一个扩展包,它可以自....
的头像 意法半导体中国 发表于 10-28 10:05 144次 阅读
STMCube.AI的高级特性

华为联手合作伙伴共同打造的固废智能体解决方案

10月19日-21日,中国环境科学学会2021年科学技术年会在天津举行。会议以“开局‘十四五’,助力....
的头像 华为数字中国 发表于 10-28 10:00 183次 阅读

后疫情时代助百业突围 服务机器人应用前景何在?

我国服务机器人行业发展前景如何,后疫情时代服务机器人有哪些创新性应用场景,对传统行业提质升级能发挥哪....
发表于 10-28 09:53 125次 阅读
后疫情时代助百业突围 服务机器人应用前景何在?

嵌入式人工智能简介

嵌入式人工智能-简要了解OPEN AI LAB嵌入式人工智能开发套件(EAIDK)AIoTOPEN AI LAB最开始听到这个...
发表于 10-28 09:44 0次 阅读

华为云AI院长峰会的价值思考 产学互为表里 携手方见大道

去年年底国家工业信息安全发展研究中心发布的《人工智能与制造业融合发展白皮书2020》显示,目前中国人....
的头像 脑极体 发表于 10-28 08:53 342次 阅读
华为云AI院长峰会的价值思考 产学互为表里 携手方见大道

什么叫嵌入式人工智能

什么是嵌入式人工智能,它的实际应用百度大脑、语音搜索、图像、广告跟搜索排序及自动驾驶,用一句简单的话来概括就是在云端基于...
发表于 10-28 08:43 0次 阅读

OPPO正式发布小布虚拟人

2021 OPPO 开发者大会今日在上海正式举办,OPPO随后正式发布首个基于虚拟人多模态交互的手机....
的头像 lhl545545 发表于 10-27 16:44 161次 阅读

激光器的线宽和带宽有什么区别

激光器的线宽和带宽名字很相近,但是表示的意思差很大的。首先看线宽,线宽比较好理解,就是激光光谱的半峰....
的头像 芯片工艺技术 发表于 10-27 16:05 93次 阅读
激光器的线宽和带宽有什么区别

2021 OPPO开发者大会:AON全天候视觉感知

2021 OPPO开发者大会:AON全天候视觉感知 2021 OPPO开发者大会上介绍了AON全天候....
的头像 璟琰乀 发表于 10-27 15:17 236次 阅读
2021 OPPO开发者大会:AON全天候视觉感知

2021 OPPO开发者大会:小布助手OPPO AI应用的集中体现

10月27日,2021 OPPO开发者大会在上海正式开幕。 2021 OPPO开发者大会以“开放互融....
的头像 汽车玩家 发表于 10-27 14:49 287次 阅读
2021 OPPO开发者大会:小布助手OPPO AI应用的集中体现

2021年OPPO开发者大会 AI小布助手月活动数目突破1.3亿

2021年OPPO开发者大会刘海锋:AI小布助手月活动数目突破1.3亿,是一款多终端、多模态对话式智....
的头像 lhl545545 发表于 10-27 14:45 266次 阅读
2021年OPPO开发者大会 AI小布助手月活动数目突破1.3亿

2021 OPPO开发者大会:OPPO智能的组成

10月27日,2021 OPPO开发者大会在上海正式开幕。 2021 OPPO开发者大会以“开放互融....
的头像 汽车玩家 发表于 10-27 14:40 124次 阅读
2021 OPPO开发者大会:OPPO智能的组成

2021 OPPO开发者大会:小布AIOT服务平台

2021 OPPO开发者大会:小布AIOT服务平台 2021 OPPO开发者大会上介绍了小布AIOT....
的头像 璟琰乀 发表于 10-27 14:27 132次 阅读
2021 OPPO开发者大会:小布AIOT服务平台

2021年OPPO开发者大会:赋能开发者

小布开放平台将为软硬件开发者提供AI基础能力支撑,全面降低开发者运用AI核心能力进行开发的门槛,赋能....
的头像 倩倩 发表于 10-27 14:17 92次 阅读
2021年OPPO开发者大会:赋能开发者

2021年OPPO开发者大会:AI方面的思考

OPPO数智工程事业部总裁刘海峰分享了OPPO在AI方面的思考
的头像 倩倩 发表于 10-27 14:02 102次 阅读
2021年OPPO开发者大会:AI方面的思考

2021 OPPO开发者大会:AI小布虚拟人

2021 OPPO开发者大会:AI小布虚拟人 2021 OPPO开发者大会上介绍了AI小布虚拟人。 ....
的头像 璟琰乀 发表于 10-27 11:40 144次 阅读
2021 OPPO开发者大会:AI小布虚拟人

2021 OPPO开发者大会:AI能力领先方面

2021 OPPO开发者大会:AI能力领先方面 2021 OPPO开发者大会上介绍了AI能力领先方面....
的头像 璟琰乀 发表于 10-27 11:36 121次 阅读
2021 OPPO开发者大会:AI能力领先方面

2021 OPPO开发者大会主会场:OPPO AI与开发者携手推进生态变革

2021 OPPO开发者大会主会场:OPPO AI与开发者携手推进生态变革
的头像 lhl545545 发表于 10-27 11:36 160次 阅读
2021 OPPO开发者大会主会场:OPPO AI与开发者携手推进生态变革

2021OPPO开发者大会 OPPO数智工程事业部总裁刘海峰分析AI服务新生态

2021OPPO开发者大会 OPPO数智工程事业部总裁刘海峰分析AI服务新生态 在小布助手开场之后,....
的头像 inr999 发表于 10-27 11:31 517次 阅读
2021OPPO开发者大会 OPPO数智工程事业部总裁刘海峰分析AI服务新生态

2021 OPPO开发者大会:正式发布小布虚拟人定制平台

2021 OPPO开发者大会:正式发布小布虚拟人定制平台 2021 OPPO开发者大会上介绍了千人千....
的头像 璟琰乀 发表于 10-27 11:26 89次 阅读
2021 OPPO开发者大会:正式发布小布虚拟人定制平台

2021 OPPO开发者大会:安全可信的AI服务

2021 OPPO开发者大会:安全可信的AI服务 2021 OPPO开发者大会上介绍了安全可信的应用....
的头像 璟琰乀 发表于 10-27 11:23 93次 阅读
2021 OPPO开发者大会:安全可信的AI服务

2021 OPPO开发者大会:支撑4.6亿用户的AI服务是如何构建的

2021 OPPO开发者大会:支撑4.6亿用户的AI服务是如何构建的 2021 OPPO开发者大会上....
的头像 璟琰乀 发表于 10-27 11:20 101次 阅读
2021 OPPO开发者大会:支撑4.6亿用户的AI服务是如何构建的

2021 OPPO开发者大会:小布助手成为AI应用的集中体现

2021 OPPO开发者大会上,刘海锋以“AI服务新生态”为主题,并重点强调了小布助手成为AI应用的....
的头像 电子魔法师 发表于 10-27 11:19 105次 阅读
2021 OPPO开发者大会:小布助手成为AI应用的集中体现

OPPO开发者大会:AI服务新生态

OPPO开发者大会上,刘海锋提出“AI服务新生态”的新主题,介绍了AI技术发展的重要性,并表示OPP....
的头像 电子魔法师 发表于 10-27 11:16 144次 阅读
OPPO开发者大会:AI服务新生态

2021 OPPO开发者大会主会场:AI服务如何构建

2021 OPPO开发者大会主会场:AI服务如何构建
的头像 lhl545545 发表于 10-27 11:15 140次 阅读
2021 OPPO开发者大会主会场:AI服务如何构建

欢聚集团深耕产品链,打造优质内容让用户体验感升级

随着5G网络的普及,人们对于互联网的“依赖感”越来越强,从最开始的利用互联网查询信息到现在使用互联网....
的头像 话说科技 发表于 10-27 11:05 69次 阅读
欢聚集团深耕产品链,打造优质内容让用户体验感升级

OPPO开发者大会2021:AI服务新生态

2021 OPPO开发者大会,这一次OPPO开发者大会的重点在AI虚拟助手,AI为服务新生态而来。
的头像 电子魔法师 发表于 10-27 11:03 148次 阅读
OPPO开发者大会2021:AI服务新生态

2021 OPPO开发者大会内容

2021 OPPO开发者大会(ODC21)在10月27日于上海开幕。 10:20-10:35 开放互....
的头像 璟琰乀 发表于 10-27 10:37 168次 阅读

2021 OPPO开发者大会议程一览

2021 OPPO开发者大会进行时,OPPO开发者大会议程如下.
的头像 电子魔法师 发表于 10-27 10:29 183次 阅读
2021 OPPO开发者大会议程一览

2021 OPPO开发者大会正式开始

2021 OPPO开发者大会正式开始 2021 OPPO开发者大会正式开始,这次的重点预计是虚拟助手....
的头像 璟琰乀 发表于 10-27 10:22 160次 阅读
2021 OPPO开发者大会正式开始

2021 OPPO开发者大会时间地点

2021 OPPO开发者大会将在10月27日于上海世博中心举办。2021 OPPO开发者大会以“开放....
的头像 lhl545545 发表于 10-27 10:10 153次 阅读

OPPO开发者大会2021如约而至

2021 OPPO开发者大会即将开始,时间定在27号,2021 OPPO开发者大会以“开放互融 致善....
的头像 lhl545545 发表于 10-27 08:59 114次 阅读

嵌入式与人工智能关系是什么

嵌入式与人工智能关系_嵌入式人工智能的发展趋势  所谓嵌入式人工智能,就是设备无须联网通过云端数据中心进行大规模计算去实现...
发表于 10-27 07:41 0次 阅读

美政府部门警告企业:五大技术领域严禁与中国合作

近日,NCSC(美国国家安全委员会)新闻办公室发文称,“鉴于新兴技术带来的独特机遇和挑战,NCSC今....
的头像 Felix分析 发表于 10-27 07:36 716次 阅读
美政府部门警告企业:五大技术领域严禁与中国合作

正在消失的MCU与MPU之间的界限

关注+星标公众号,不错过精彩内容编排 | strongerHuang微信公众号|嵌入式专栏MCU:M....
发表于 10-26 21:06 7次 阅读
正在消失的MCU与MPU之间的界限

请问带宽/特征频率/截止频率/-3dB是什么意思?

请问带宽/特征频率/截止频率/-3dB是什么意思?
发表于 10-12 06:33 0次 阅读

怎样去计算电流环的闭环带宽

电流环带宽是什么? 怎样去计算电流环的闭环带宽?...
发表于 10-09 09:25 0次 阅读

怎样去设计一种毫米波JRC系统的波形

联合雷达通信(JRC)模型有哪些优点? 怎样去设计一种毫米波JRC系统的波形?...
发表于 10-08 07:54 0次 阅读

BananaPi BPI-M2S 采用Amlogic A311D,NPU for AI 支持 5.0 TOPS算力,板载4G内存和16gb eMMC存储

​ BananaPi BPI-M2S 是香蕉派开源社区2021新设计的一款单板计算机,采用Amlogic A311D四核ARM Cortex-A73和双核...
发表于 09-30 14:37 5152次 阅读

BananaPi BPI-M2S 是新设计的一款单板计算机,采用Amlogic A311D,NPU for AI 支持 5.0 TOPS算力,板载4G内存和16gb eMMC存储

​ BananaPi BPI-M2S 是香蕉派开源社区2021新设计的一款单板计算机,采用Amlogic A311D四核ARM Cortex-A73和双核...
发表于 09-30 12:41 202次 阅读

电流环带宽是什么意思

什么是带宽? 电流环带宽是什么意思?
发表于 09-29 08:03 0次 阅读

LoRaWAN网络服务器有哪些应用

LoRaWAN是什么? LoRaWAN网络服务器有哪些应用? 为何要使用扩频技术? ...
发表于 09-24 13:19 0次 阅读