0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

抛弃8GB内存,端侧AI大模型加速内存升级

花茶晶晶 来源:电子发烧友网 作者:黄晶晶 2024-11-03 00:02 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/黄晶晶)端侧AI大模型的到来在存储市场产生了最直接的反应。年初在我们对旗舰智能手机的存储容量统计中,16GB内存+512GB存储成为几乎所有旗舰机型都提供的选择。毕竟AI大模型的运行以及相关应用的激增都比较吃内存和闪存。就在最近,连苹果也开始淘汰8GB版本,逐步走向12GB、16GB内存。智能终端对存储容量的需求有增无减,同时也加速更先进存储规格的采用。

苹果、小米纷纷砍掉8GB内存版本

日前,苹果宣布搭载M2和M3芯片的MacBook Air机型现标配16GB内存,相比此前翻倍,但起售价维持不变,分别仍为7999元和8999元。苹果官网上13英寸M2 MacBook Air、13英寸M3 MacBook Air以及15英寸M3 MacBook Air均淘汰了8GB版本,标配16GB内存,固态硬盘是256GB起步。截至目前,苹果新款MacBook Pro、Mac mini、iMac等设备全部都是16GB内存起步。

近期,小米公司宣布了其旗舰产品小米15系列的内存配置重要调整。小米董事长兼CEO雷军表示,小米15将砍掉8GB内存版本,标准版将从12GB起步。

雷军表示,为了最大程度展现端侧 AI的能力,我们决定取消 8GB 版本。小米15系列,在设计工艺、性能功耗、续航表现和使用体验等方方面面都有巨大的提升。

10月28日,小米中国区市场部副总经理、Redmi品牌总经理王腾在社交平台上解释称,这一决策(指取消8GB内存,从12GB起步)主要是基于未来手机AI应用的发展趋势。随着端侧AI大模型对内存需求的增加,8GB内存已逐渐无法满足高效运行的需求。他建议,在资金允许的情况下,消费者应选择更大内存的版本,以确保手机能够流畅运行各类AI应用。

另外,对于小米15系列的涨价,雷军表示,去年我跟大家说过,小米14首定是最后一次定价3999元。今年3nm工艺升级,同时供应链 RAMROM 成本涨幅很大,我们在研发上投入也非常大,小米15 确实需要涨价。我可以保证,即便涨价,小米15 依旧日物超所值!相比往代同内存版本的涨价幅度,也肯定让大家觉得“贵得有理由”,谢谢大家理解!

端侧AI大模型的内存容量

由于端侧AI大模型需要在内存中加载,即便采用压缩技术,越大的模型越吃容量。一方面现在端侧AI大模型有着轻量化的趋势,另一方面足够大容量和性能更高的内存更能满足端侧AI的需求。

今年6月苹果发布Apple Intelligence,将强大的生成模型置于 iPhone、iPad 和 Mac 的核心。它具有的数据处理和情境感知能力。它能够深入理解设备中的各类数据,包括照片、邮件、信息等,并据此为用户提供个性化的智能服务。分析师郭明錤曾表示,Apple Intelligence采用端侧3B LLM,经过压缩后,随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。

在安卓阵营,早在去年,端侧AI便成为各大手机终端厂商进行手机创新的主航道,彼时大家都将AI端侧大模型的参数集中于7B。然而参数越大所需的处理器、存储等资源越多,轻量化小模型或许更适合于智能终端。

vivo继去年带来了三款端侧大模型(自研十亿、百亿、千亿三个参数量级)之后,发布全新30亿参数量级的蓝心端侧大模型3B。

在对话写作、摘要总结、信息抽取等能力上,蓝心3B可以越级比肩行业7B-9B模型。相比蓝心7B,蓝心 3B极致性能提升300%,平衡模式下功耗优化达46%,极致出词速度可以达到80字/s,系统功耗仅450mA,内存占用仅1.4GB。蓝心端侧大模型3B真正打破了模型小、能力强、消耗低的“不可能三角定律”。

苹果为了支持Apple Intelligence在手机端的应用,将iPhone 16系列的四款机型全部升级到了8GB内存。为何选定为8GB内存,而不是更高?苹果硬件技术高级副总裁Johny Srouji表示,Apple Intelligence是促使使用8GB内存的一个主要原因。他还提到,软硬件和产品的完全集成带来了很多好处,苹果软件团队经过多次的内存优化计算,避免内存浪费,综合考虑之后认为8GB是最适合的选择。

我们看到新发布的vivo X200系列和OPPO Find X8系列等手机都是直接从12GB版本起步。安卓阵营旗舰手机的内存容量升级更加积极,苹果反而显得有点保守了。尽管苹果有其软硬件优化的系统级优势,但相信8GB内存的选择,成本也是考虑因素之一。

内存规格不断提升

旗舰智能手机主要采用LPDDR5X内存规格,LPDDR5X能够更好地加速边缘AI运算,提供高存储器频宽和更佳的功耗效率。此前LPDDR5X速率达8.5Gbps,LPDDR5T速率达9.6Gbps的水平,而最近发布的新机甚至还采用了更高速率的LPDDR5X。

例如,OPPO Find X8 系列搭载潮汐引擎×天玑 9400,采用台积电第二代3nm工艺与新一代ARM架构,搭配高速闪存UFS 4.0与LPDDR5X先进内存规格,带来更强的性能和更均衡的功耗表现。其中,Find X8 Pro采用LPDDR5X内存,Find X8 Pro 卫星通信版采用了LPDDR5X 10667Mbps版内存。在 vivo X200新机中,vivo X200 Pro 16GB + 1TB 卫星通信版本搭载LPDDR5X Ultra Pro,同样达到10667Mbps速度。

此前三星半导体就表示,已成功在联发科下一代天玑旗舰移动平台(天玑9400)完成其最快的10.7千兆比特/秒(Gbps)LPDDR5X DRAM验证。成为当今全球最快的手机内存。

至于苹果新一代新机,iPhone 16采用6400Mbps的LPDDR5,苹果iPhone 16 Pro和16 Pro Max版本都是采用的是LPDDR5X规格的内存,7500Mbps速率。

LPDDR5标准于2019年2月发布,2021年7月JEDEC组织推出了升级版LPDDR5X。为了打造更高性能更能满足端侧AI大模型运算的内存,今年以来JEDEC组织正在积极制定新一代低功耗内存LPDDR6标准,该组织设定了 LPDDR6的速度范围从 10.667Gbps到14.4Gbps。可以看到,三星10.7GbpsLPDDR5X DRAM已经初步达到了该组织拟定的LPDDR6最低速度范围要求。接下来,各大DRAM厂商势必积极跟进LPDD6的技术和产品,手机内存也将上一个新的台阶。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 内存
    +关注

    关注

    9

    文章

    3173

    浏览量

    76115
  • AI
    AI
    +关注

    关注

    89

    文章

    38113

    浏览量

    296659
  • 大模型
    +关注

    关注

    2

    文章

    3442

    浏览量

    4967
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    【CIE全国RISC-V创新应用大赛】基于 K1 AI CPU 的大模型部署落地

    8GB 物理内存 (且操作系统还要占用约 500MB+)。 结论 :如果直接照搬官方文档下载 Q4 模型, 100% 会因为内存不足(OOM)而无法运行 。 为了满足赛题要求,必须采
    发表于 11-27 14:43

    此芯科技发布“合一”AI加速计划,赋能边缘与AI创新

    产品组合,覆盖从1.5B至32B参数规模的AI模型推理需求,满足工业、消费电子、智能终端等多样化场景的部署需求,推动AI技术从云端向边缘
    的头像 发表于 09-15 11:53 2011次阅读
    此芯科技发布“合一”<b class='flag-5'>AI</b><b class='flag-5'>加速</b>计划,赋能边缘与<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>创新

    科普:什么AI 内存技术

    问题。 为什么 AI 内存很重要? 在 AI 模型训练和推理过程中,大量的数据需要从内存传输到处理器(如 GPU 或 TPU)进行计算。传统
    的头像 发表于 09-03 15:44 736次阅读

    华为CANN与智谱GLM模型完成适配

    已于7月28日正式开源其新一代基座模型GLM-4.5,其GLM模型已完成与CANN的适配。这标志着国产大模型与计算架构在
    的头像 发表于 08-11 11:00 2197次阅读

    迅为iTOP-3588S开发板核心板引脚240PIN全部引出8GB内存32GBEMMC存储

    8GB内存,32GBEMMC。 四核心架构GPU内置GPU可以完全兼容0penGLES1.1、2.0和3.2。 内置NPU RK3588S内置NPU,支持INT4/INT8/INT16/FP16混合运算
    发表于 06-23 11:19

    曝华为Mate80系列定制超大内存 王炸是大内存与麒麟9030通过SiP封装技术集成

    超过20GB,要知道目前在售的华为机型最大配备的内存也只有16GB。华为Mate 80系列手机将一举成为华为手机史上内存最大的机型。 运行内存
    的头像 发表于 06-17 11:50 2783次阅读

    首创开源架构,天玑AI开发套件让AI模型接入得心应手

    ,联发科带来了全面升级的天玑AI开发套件2.0,在模型库规模、架构开放程度、前沿AI技术支持
    发表于 04-13 19:52

    AI模型侧部署正当时:移远端AI模型解决方案,激活场景智能新范式

    AI技术飞速发展的当下,AI模型的应用正从云端向加速渗透。 作为全球领先的物联网整体解决
    发表于 03-27 11:26 424次阅读
    <b class='flag-5'>AI</b>大<b class='flag-5'>模型</b><b class='flag-5'>端</b>侧部署正当时:移远端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>解决方案,激活场景智能新范式

    AI模型侧部署正当时:移远端AI模型解决方案,激活场景智能新范式

    AI技术飞速发展的当下,AI模型的应用正从云端向加速渗透。作为全球领先的物联网整体解决方
    的头像 发表于 03-26 19:05 991次阅读
    <b class='flag-5'>AI</b>大<b class='flag-5'>模型</b><b class='flag-5'>端</b>侧部署正当时:移远端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>解决方案,激活场景智能新范式

    移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速AI落地

    。   目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速AI技术在各行各业的规模化应用与普及。
    发表于 02-13 11:32 445次阅读
    移远通信边缘计算模组成功运行DeepSeek<b class='flag-5'>模型</b>,以领先的工程能力<b class='flag-5'>加速</b><b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>落地

    利用全志A733平板构建DeepSeek算力平台

    模型,并进行实测效果展示。 平台环境 设备:全志A733平板 系统:Android 15 DDR:8GB LPDDR5 @2400MHz Flash:128
    的头像 发表于 02-13 10:18 1575次阅读
    利用全志A733平板构建<b class='flag-5'>端</b><b class='flag-5'>侧</b>DeepSeek算力平台

    移远通信边缘计算模组成功运行DeepSeek模型,以领先的工程能力加速AI落地

    。目前,该模型正在多款智能终端上进行深入测试与优化。移远通信将凭借其卓越的工程化能力,加速AI技术在各行各业的规模化应用与普及。Deep
    的头像 发表于 02-12 19:03 763次阅读
    移远通信边缘计算模组成功运行DeepSeek<b class='flag-5'>模型</b>,以领先的工程能力<b class='flag-5'>加速</b><b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>落地

    德明利DDR5内存助力AI PC时代存储性能与市场增长

    2024年作为AIPC元年伴随异构算力(CPU+GPU+NPU)需求高涨及新处理器平台推出DDR5内存以高速率、大容量低延迟与高带宽有效满足高性能算力要求加速本地AI模型运行效率推动
    的头像 发表于 01-21 16:34 2264次阅读
    德明利DDR5<b class='flag-5'>内存</b>助力<b class='flag-5'>AI</b> PC时代存储性能与市场增长

    广和通Fibocom AI Stack:加速AI部署新纪元

    、海量模型以及全方位的支持与服务于一体,为智能设备提供了AI解决方案。为适应多样化的
    的头像 发表于 01-13 11:32 1427次阅读

    广和通开启AI新时代

    AI发展正酣,随着终端芯片算力越来越高、模型能力越来越强、实时响应及隐私保护的应用需求增
    的头像 发表于 12-12 10:35 1290次阅读