0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI从GPU席卷至MCU,内存的重要性与算力等同

E4Life 来源:电子发烧友网 作者:周凯扬 2023-11-29 01:04 次阅读

电子发烧友网报道(文/周凯扬)在市场对AI的不懈追求中,似乎绝大多数人都把重心放在了算力上。然而决定真正AI计算表现的,还有内存这一重要组成部分。为此,除了传统的标准内存选项外,市面上也出现了专门针对AI进行优化的内存。

高性能AI芯片需要超高带宽内存

无论是英伟达最新的服务器GPU,还是一众初创公司推出的AI加速器,我们都可以看到HBM出现的越来越频繁,比如英伟达H100、谷歌TPU等等。美光、SK海力士和三星厂商都在布局这类超高带宽内存,用于解决 AI计算中时常出现的内存墙问题。

以LLM模型的训练负载为例,HBM3内存与处理器可以与处理器以最高6.4Gb/s的接口速率相连,并实现3.2TB/s的超大带宽。而且在3D堆叠技术的支撑下,SoC芯片的面积依然控制在一个合理的范围内。超大的带宽显著减少了模型训练时间,所以我们才能看到如此快的LLM模型更迭速度。

当把模型推向终端应用时,效率就和效能一样重要了。推理带来的计算成本异常庞大,所以我们需要更低的系统功耗。而HBM内存恰好可以在维持“较低”速率的同时,实现与处理器的“近距离接触”和大带宽,从而进一步降低整体系统功耗。

当然了,HBM也并非那么完美,不然我们也不会只在服务器级别的产品上看到它们。随着HBM而来的是设计复杂度和更高的成本,比如需要额外设计硅中介层等等。但还是由于吃到了AI红利,HBM的成本也在慢慢降低,甚至有的初创公司在首个AI芯片上就直接采用HBM3内存,为的就是充分释放AI芯片的计算性能。

小芯片的AI梦

随着AI热潮的袭来,我们也看到了边缘端不少AIoT产品开始追逐这一风口,尤其是智能音箱等具备交互能力的设备。然而以这类设备主用的MCU芯片而言,本身计算性能就难以与GPU这样的高性能AI加速器媲美,更别说内存带宽了。

为此,英飞凌推出了HyperRAM这一高速内存,相较传统的pSRAM,HyperRAM成了更高效简洁的解决方案。HyperRAM基于HyperBus这一接口开发,相较于其他DRAM内存方案,HyperRAM并不见得有压倒性的带宽优势,比如最新的HyperRAM 3.0版本,其带宽最高可达800MB/s。

wKgaomVlu4GAeoD2AABIpN2JUwA500.png
不同内存的工作功耗对比 / 华邦电子


但在同等带宽下工作时,HyperRAM可以提供更少的引脚数和更低的功耗,对于不少可穿戴应用来说,采用HyperRAM不仅降低所需的PCB面积,也进一步降低了功耗,提高了这类设备的续航能力。根据华邦电子提供的数据,同样64MB的内存,HyperRAM可以实现比SDRAM低数十倍的待机功耗。

时至今日,我们已经看到不少顶尖MCU厂商,诸如NXP瑞萨TI等,都已经提供了支持HyperBus接口的MCU。新思、Cadence等厂商也开始提供HyperBus控制IP,华邦电子也加入HyperRAM的供应生态链中来,HyperRAM已然成了AIoT应用中MCU乃至MPU外部RAM的理想选择。

写在最后

无论是HBM还是HyperRAM,都是AI时代下开始发光发热的内存选择。他们的出现不仅为市场提供了更灵活的设计选择,也进一步推动了内存技术在设计、工艺和封装上的进步。未来随着内存技术迈入下一个阶段,或许不只有AI应用能从中受益。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • mcu
    mcu
    +关注

    关注

    146

    文章

    16019

    浏览量

    343659
  • AI
    AI
    +关注

    关注

    87

    文章

    26459

    浏览量

    264080
收藏 人收藏

    评论

    相关推荐

    FPGA在深度学习应用中或将取代GPU

    基础设施,人们仍然没有定论。如果 Mipsology 成功完成了研究实验,许多正受 GPU 折磨的 AI 开发者将从中受益。 GPU 深度学习面临的挑战 三维图形是 GPU 拥有如此
    发表于 03-21 15:19

    请问用强大的SOC来控制汽车是不是能够大幅减少MCU的使用数量?

    来自一位用户的咨询,麻烦帮忙解答,越详细越好,有图有真相,可以适当提供一些英飞凌解决方案和产品推荐。 用强大的SOC来控制汽车是不是能够大幅减少MCU的使用数量? 未来电动汽车会使用SOC来代替大量
    发表于 02-02 07:16

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    CPU与GPU散热器设计的异同及其重要性

    CPU与GPU散热器的设计异同及其重要性 在计算机的发展过程中,中央处理单元(CPU)和图形处理单元(GPU)在性能和热量产生方面的不断提升和增加,使得其在长时间工作时产生了大量的热量。为了保证
    的头像 发表于 01-09 14:00 298次阅读

    AI PC到智慧医疗,锐炫GPUAI应用带来强劲算力支持

    步入AI时代,GPU算力的重要性早已不言而喻。谁拥有强劲的GPU算力,谁就拥有足够的话语权,这话有点难听,但事实确是如此。尤其是伴随着AIGC的出现,“向大众市场下沉”是
    的头像 发表于 11-13 16:56 276次阅读
    从<b class='flag-5'>AI</b> PC到智慧医疗,锐炫<b class='flag-5'>GPU</b>为<b class='flag-5'>AI</b>应用带来强劲算力支持

    CPU、GPU内存知识科普

    本文内容包括CPU、内存GPU知识,本期重点更新GPU和CPU部分知识。比如:GPU更新包括架构演进,最新产品A100、选型策略、架构分析、散热和规格分类等。
    的头像 发表于 11-13 11:47 894次阅读
    CPU、<b class='flag-5'>GPU</b>和<b class='flag-5'>内存</b>知识科普

    FPGA和CPU、GPU有什么区别?为什么越来越重要

    某些场景的专用。 图2:2010年兴起以来,AI模型对的要求呈现爆发式增长,速度远超摩尔定律 通用计算时代终结,数据中心走向加速器时代。未来10年,FPGA的
    发表于 11-09 14:09

    MCU编程中局部变量赋初始值的重要性

    MCU编程中局部变量赋初始值的重要性
    的头像 发表于 10-16 18:29 406次阅读
    在<b class='flag-5'>MCU</b>编程中局部变量赋初始值的<b class='flag-5'>重要性</b>

    英码科技精彩亮相火爆的IOTE 2023,多面赋能AIoT产业发展!

    硬件为基础,搭载自研的0代码移植工具链,在不触碰客户模型文件的前提下,实现算法GPU到XPU的一键移植,最快1天实现算法适配,快、易、省赋能长尾
    发表于 09-25 10:03

    电源设计的重要性

    电源是最容易被忽视的,电源是系统运行的重要组成部分,电源就像“人体的心脏”,为系统的硬件输送血液(电),要是心脏(电源)运行不正常或供血(电)不足,会导致系统不运行或运行不稳定,在设计之前应该对核心
    发表于 09-08 14:43

    不只是GPU内存厂商们的AI野望

    电子发烧友网报道(文/周凯扬)在诸多云服务厂商或互联网厂商一头扎进GPU的疯抢潮后,不少公司也发现了限制AI大模型性能或是成本消耗的除了GPU以外,还有内存
    的头像 发表于 09-01 00:18 945次阅读
    不只是<b class='flag-5'>GPU</b>,<b class='flag-5'>内存</b>厂商们的<b class='flag-5'>AI</b>野望

    gpu和cpu哪个更重要

    gpu和cpu哪个更重要? 当我们谈到计算机的性能时,CPU(中央处理器)和GPU(图形处理器)都是非常重要的组件。然而,在某些情况下,GPU
    的头像 发表于 08-09 15:51 4798次阅读

    电镀对印制PCB电路板的重要性有哪些?

    、良好的焊接、较高的机械强度和能经受元器件终端镶板以及电路板表面向镀通孔中填铜所需的延展性。 方案介绍 基于新唐ML51开发的电池管理系统(BMS)—超低功耗MCU+AFE方案 方案简介 1
    发表于 06-09 14:19

    PCB印刷电路板打样的重要性

    PCB印刷电路板打样的重要性 PCB印刷电路板几乎是我们日常生活中使用的所有电子设备的重要组成部分。作为如此重要的组件,大多数原始设备厂商需要精密的PCB设计和制造,这是因为它们在应用程序中使用时
    发表于 06-07 16:37

    关于PCBA元器件布局的重要性

    重要性 以上分享了很多关于器件布局不当,而引发的生产问题,下面分享一个可以一键解决这些问题的工具:华秋DFM软件,可以提前检测元器件布局的安全间距,避免存在可组装性问题。 华秋DFM的组装分析功能
    发表于 05-22 10:34