0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI从GPU席卷至MCU,内存的重要性与算力等同

E4Life 来源:电子发烧友网 作者:周凯扬 2023-11-29 01:04 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/周凯扬)在市场对AI的不懈追求中,似乎绝大多数人都把重心放在了算力上。然而决定真正AI计算表现的,还有内存这一重要组成部分。为此,除了传统的标准内存选项外,市面上也出现了专门针对AI进行优化的内存。

高性能AI芯片需要超高带宽内存

无论是英伟达最新的服务器GPU,还是一众初创公司推出的AI加速器,我们都可以看到HBM出现的越来越频繁,比如英伟达H100、谷歌TPU等等。美光、SK海力士和三星等厂商都在布局这类超高带宽内存,用于解决 AI计算中时常出现的内存墙问题。

以LLM模型的训练负载为例,HBM3内存与处理器可以与处理器以最高6.4Gb/s的接口速率相连,并实现3.2TB/s的超大带宽。而且在3D堆叠技术的支撑下,SoC芯片的面积依然控制在一个合理的范围内。超大的带宽显著减少了模型训练时间,所以我们才能看到如此快的LLM模型更迭速度。

当把模型推向终端应用时,效率就和效能一样重要了。推理带来的计算成本异常庞大,所以我们需要更低的系统功耗。而HBM内存恰好可以在维持“较低”速率的同时,实现与处理器的“近距离接触”和大带宽,从而进一步降低整体系统功耗。

当然了,HBM也并非那么完美,不然我们也不会只在服务器级别的产品上看到它们。随着HBM而来的是设计复杂度和更高的成本,比如需要额外设计硅中介层等等。但还是由于吃到了AI红利,HBM的成本也在慢慢降低,甚至有的初创公司在首个AI芯片上就直接采用HBM3内存,为的就是充分释放AI芯片的计算性能。

小芯片的AI梦

随着AI热潮的袭来,我们也看到了边缘端不少AIoT产品开始追逐这一风口,尤其是智能音箱等具备交互能力的设备。然而以这类设备主用的MCU芯片而言,本身计算性能就难以与GPU这样的高性能AI加速器媲美,更别说内存带宽了。

为此,英飞凌推出了HyperRAM这一高速内存,相较传统的pSRAM,HyperRAM成了更高效简洁的解决方案。HyperRAM基于HyperBus这一接口开发,相较于其他DRAM内存方案,HyperRAM并不见得有压倒性的带宽优势,比如最新的HyperRAM 3.0版本,其带宽最高可达800MB/s。

wKgaomVlu4GAeoD2AABIpN2JUwA500.png
不同内存的工作功耗对比 / 华邦电子


但在同等带宽下工作时,HyperRAM可以提供更少的引脚数和更低的功耗,对于不少可穿戴应用来说,采用HyperRAM不仅降低所需的PCB面积,也进一步降低了功耗,提高了这类设备的续航能力。根据华邦电子提供的数据,同样64MB的内存,HyperRAM可以实现比SDRAM低数十倍的待机功耗。

时至今日,我们已经看到不少顶尖MCU厂商,诸如NXP瑞萨TI等,都已经提供了支持HyperBus接口的MCU。新思、Cadence等厂商也开始提供HyperBus控制IP,华邦电子也加入HyperRAM的供应生态链中来,HyperRAM已然成了AIoT应用中MCU乃至MPU外部RAM的理想选择。

写在最后

无论是HBM还是HyperRAM,都是AI时代下开始发光发热的内存选择。他们的出现不仅为市场提供了更灵活的设计选择,也进一步推动了内存技术在设计、工艺和封装上的进步。未来随着内存技术迈入下一个阶段,或许不只有AI应用能从中受益。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • mcu
    mcu
    +关注

    关注

    147

    文章

    18605

    浏览量

    387004
  • AI
    AI
    +关注

    关注

    89

    文章

    38091

    浏览量

    296567
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    湘军,让变成生产

    脑极体
    发布于 :2025年11月25日 22:56:58

    CPU、GPU到NPU,美格智能持续优化异构计算效能

    前言AI已成为数字经济时代的核心生产,但全球AI产业正面临“供给不足、成本高企、生态待建”三重挑战。据行业统计,行业
    的头像 发表于 11-21 16:05 705次阅读
    <b class='flag-5'>从</b>CPU、<b class='flag-5'>GPU</b>到NPU,美格智能持续优化异构<b class='flag-5'>算</b><b class='flag-5'>力</b>计算效能

    什么是AI模组?

    未来,腾视科技将继续深耕AI模组领域,全力推动AI边缘计算行业的深度发展。随着AI技术的不断演进和物联网应用的持续拓展,腾视科技的
    的头像 发表于 09-19 15:26 1147次阅读
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模组?

    什么是AI模组?

    未来,腾视科技将继续深耕AI模组领域,全力推动AI边缘计算行业的深度发展。随着AI技术的不断演进和物联网应用的持续拓展,腾视科技的
    的头像 发表于 09-19 15:25 429次阅读
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模组?

    摩尔线程副总裁王华:AI工厂全栈技术重构基建,开启国产 GPU 黄金时代

    摩尔线程在世界人工智能大会(WAIC 2025)前夕举办以“进化,精度革命”为主题的技术分享会,创新提出“AI工厂” 理念。这一系统
    的头像 发表于 08-02 14:21 4632次阅读
    摩尔线程副总裁王华:<b class='flag-5'>AI</b>工厂全栈技术重构<b class='flag-5'>算</b><b class='flag-5'>力</b>基建,开启国产 <b class='flag-5'>GPU</b> 黄金时代

    一文看懂AI集群

    最近这几年,AI浪潮席卷全球,成为整个社会的关注焦点。大家在讨论AI的时候,经常会提到AI
    的头像 发表于 07-23 12:18 966次阅读
    一文看懂<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>集群

    【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】+NVlink技术应用到原理

    自家GPU 提出的多卡互连技术,是早期为了应对深度学习对超高需求而单卡
    发表于 06-18 19:31

    摩尔线程与AI平台AutoDL达成深度合作

    近日,摩尔线程与国内领先的AI平台AutoDL宣布达成深度合作,双方联合推出面向个人开发者的“摩尔线程专区”,首次将国产GPU
    的头像 发表于 05-23 16:10 1428次阅读

    点动科技战略聚焦AI,领航服务新征程

    Al智业务收入占比已突破40%,标志着点动传统业务向智能化转型的战略跨越取得阶段胜利! 技术赋能构建核心壁垒,全栈能力驱动行业智能化升级 在技术布局上,点动科技聚焦行业模型和Al应用,以
    的头像 发表于 05-07 09:29 463次阅读

    搭建中心,了解的GPU 特性开始

    ABSTRACT摘要本文介绍如何搭建,并介绍A100、H100、H200和B200这些GPU的特性。JAEALOT2025年4月23日随着人工智能、大数据和高性能计算(HPC)的快速发展,市场上
    的头像 发表于 04-24 11:08 2980次阅读
    搭建<b class='flag-5'>算</b><b class='flag-5'>力</b>中心,<b class='flag-5'>从</b>了解的<b class='flag-5'>GPU</b> 特性开始

    DeepSeek推动AI需求:800G光模块的关键作用

    和性能方面展现了出色的优势,满足当前AI需求的快速增长。 高可靠: 光模块经过温度、静电放电及机械耐久等严格测试,确保在数据中
    发表于 03-25 12:00

    GPU租用平台有什么好处

    当今,GPU租用平台为科研机构、企业乃至个人开发者提供了灵活高效的解决方案。下面,AI
    的头像 发表于 02-07 10:39 715次阅读

    中心的如何衡量?

    作为当下科技发展的重要基础设施,其的衡量关乎其能否高效支撑人工智能、大数据分析等智能应用的运行。以下是对智中心算衡量的详细阐述:一、
    的头像 发表于 01-16 14:03 4200次阅读
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    英国政府计划大幅提升AI

    满足学术界和公共服务领域对高性能计算能力的迫切需求。随着人工智能技术的快速发展,GPU作为AI计算的核心硬件之一,其重要性日益凸显。 斯塔默首相表示,通过采购这些GPU,英国将能够加速
    的头像 发表于 01-14 14:18 690次阅读