0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

手机AI大模型来袭,存储来到16GB+512GB?

晶芯观察 来源:电子发烧友网 作者:黄晶晶 2024-01-19 09:54 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/黄晶晶)手机处理器厂商最先引领了AI大模型在手机上的落地。去年下半年以来,高通联发科相继发布最新处理器,都开始支持AI大模型。

骁龙8 Gen3是高通首款以生成式AI为核心设计的移动平台。骁龙8 Gen 3基于台积电4nm制程,采1个3.3GHz Cortex-X4+5个3.2GHz Cortex-A720+2个2.3GHz Cortex-A530的八核架构设计。在强大的CPUGPU和NPU的支持下,骁龙8 Gen可以在设备端运行生成式AI,其支持超过100亿个参数的模型,比如Meta Llama2 / Baichuan,并支持20个 tokens/秒。

联发科天玑9300采用全大核设计,CPU包含4个Cortex-X4超大核,以及4个主频为2.0GHz的Cortex-A720大核。天玑9300集成的APU 790内置生成式AI引擎,与Transformer模型适配进行算子加速,可以实现1秒内生成图片。

结合内存硬件压缩技术NeuroPilot Compression来减少AI大模型对终端内存的占用,天玑9300支持在终端运行10亿、70亿、130亿参数的AI大模型。并且天玑9300成功运行了330亿参数的AI大模型。

在这些处理器发布后,手机厂商陆续推出搭载这些最新处理器的旗舰智能手机,当然也无一例外的开始搭载AI大模型。

手机AI大模型涌现

电子发烧友网统计去年底到今年1月发布的旗舰智能手机,包括小米14系列、vivo X100系列,OPPO X7系列、荣耀Magic6系列等,以及更早前发布的华米Mate60系列。它们都已经支持AI大模型的运行和应用。手机厂商对于AI大模型的拥抱态度十分积极,在主处理器支持AI功能的基础上,推出了自研的AI大模型。

wKgaomWp1meAJ9rWAAu-Oba1m-c841.png

例如小米的MiLM大模型支持64亿参数,还有支持13亿参数的端侧大模型。

vivo发布五款自研“蓝心”AI大模型,包括1750亿、1300亿、700亿、70亿、10亿五款不同参数规模,并开源70亿“蓝心”大模型。X100系列搭载70亿参数大模型。

在安第斯AndesGPT 大模型70亿参数大语言支持下,OPPO 端侧具备超快的首字响应速度。用户可以体验全新的 AIGC 消除功能,首个 AI 大模型语音摘要,文字生成图片等100多种能力。

当然,要追溯AI大模型上手机的进程,其实早在去年8月,华为Mate60 Pro发布,并宣布接入盘古人工智能大模型,为消费者提供更智慧的交互体验。

在AI大模型的加持下,智能手机变得更加智能化,出现更多便捷而有趣的应用,AI大模型成为智能手机的一大卖点,也将是未来智能手机创新发展的趋势。

需要多少存储容量?

我们看到,这些基于高通和联发科旗舰芯片的智能手机比较集中的是支持70亿的AI大模型参数。那么这些旗舰机型的存储容量又是多少呢?经统计发现,最低的为8GB+256GB,最高达到16GB+1TB。16GB+512GB这种搭配的存储容量是最为集中的。

以手机AI大模型的内存容量来看,OPPO影像产品总监张璇此前在接受采访时给出的数据是,70亿大模型正常的模型大小是28GB,经过压缩和轻量化之后可压缩到最小的3.9GB左右。

这个数据,其他手机厂商也有类似的看法。vivo AI解决方案中心总监谢伟钦此前透露,要运转一个10亿规模大模型至少需要1G内存,70亿模型需要4GB内存,130亿模型目前需要超过7GB内存。

这里不能不说轻量化和内存压缩技术。联发科在介绍天玑 9300支持生成式AI时就特别提到,特有内存硬件压缩技术和NeuroPilot Compression 混合精度 INT4 量化技术。采用INT4量化可以将130亿参数大模型压缩至13GB,再用内存硬件压缩技术进一步减少存储容量。

我们以70亿大模型压缩后需要4GB来算,再加上6GB App保活、4GB安卓OS,也就是说,支持70亿参数大模型的智能手机,实现图像生成功能等,其内存至少需要14GB。

若未来要支持超100亿参数的模型,实现数字AI助手等功能,在现有条件下智能手机内存至少需要17GB。

目前国内智能手机已经搭载最高24GB的内存,比如一加 12,一加Ace 3、realme 真我 GT5 等已提供24GB版本。

在内存规格上,当前旗舰智能手机的内存主要为LPDDR5X。vivo X100系列率先搭载海力士LPDDR5T内存(为强调其超高速度,SK海力士在“LPDDR5”规格名称后添加了“Turbo涡轮增压”字样),相比LPDDR5X内存读取速度提升达13%,达9.6Gbps。

在闪存规格上,主要为UFS4.0。UFS是一种允许设备同时读取和写入的全双工接口,并且在标准层面能帮助设备以更低的功耗实现高速读写,UFS4.0理论速度达到4,640MB/s。如前所述,最新发布的旗舰智能手机的闪存容量都配置了512GB这一容量。

随着AI大模型在手机上的推进,手机处理器、内存、闪存的容量和性能需求都将升级到更高的水平。增加容量只是一方面,无论是存储芯片厂商还是手机处理器、终端厂商,在存储技术、系统优化等方面还需更多的创新。

智能手机回暖,AI手机拉动存储市场上升

智能手机市场经历一段长时间的低迷之后,终于迎来增长。

Counterpoint数据显示,2023年10月全球智能手机销量在连续27个月同比下降后,首次售出交易量(即零售额)同比增长5%。2023年第四季度,智能手机出货量增速为同比增长3%,达到3.12亿部。Counterpoint预测,2024年全球智能手机出货量有望同比增长3%。

IDC预计,2024年中国智能手机市场出货量将达到2.87亿部,同比增长3.6%,实现2021年以来首次同比增长。

和PC市场对AI PC给予厚望一样,AI手机将成为智能手机市场一个强劲的增长动力。AI手机将带动LPDDR5、UFS 4.0的渗透,加速存储行业的复苏态势。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 联发科
    +关注

    关注

    57

    文章

    2750

    浏览量

    259877
  • AI
    AI
    +关注

    关注

    91

    文章

    41109

    浏览量

    302597
  • 大模型
    +关注

    关注

    2

    文章

    3771

    浏览量

    5272
  • 天玑9300
    +关注

    关注

    3

    文章

    53

    浏览量

    652
  • AI大模型
    +关注

    关注

    0

    文章

    407

    浏览量

    1038
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    智能手机存储迈入2TB时代

      电子发烧友网报道(文/黄晶晶)端侧AI带动智能终端存储的不断升级。当前,高端智能手机的内存已经来到24GB,例如一加13、REDMI K
    的头像 发表于 10-09 04:09 9867次阅读
    智能<b class='flag-5'>手机</b><b class='flag-5'>存储</b>迈入2TB时代

    深入解析PIC24FJ256GB210系列16位闪存微控制器

    深入解析PIC24FJ256GB210系列16位闪存微控制器 在电子工程领域,微控制器扮演着至关重要的角色。今天,我们将深入探讨Microchip公司的PIC24FJ256GB210系列16
    的头像 发表于 04-08 18:25 1060次阅读

    PIC24FJ64GB004系列微控制器:功能强大的16位解决方案

    PIC24FJ64GB004系列微控制器:功能强大的16位解决方案 在电子工程师的日常设计工作中,选择一款合适的微控制器至关重要。Microchip的PIC24FJ64GB004系列微控制器为我们
    的头像 发表于 04-08 18:05 1085次阅读

    在 4GB 型号上检测到的内存大小错误为 8GB,怎么解决?

    我刚刚更新了我的 U-Boot 和有效负载,现在我的 4GB 型号似乎感觉它有 8GB 的 RAM - 遗憾的是,运行类似“memtester 6G”的东西很快就显示它的上半部分只是蒸汽 RAM
    发表于 03-24 06:17

    边缘AI算力临界点:深度解析176TOPS香橙派AI Station的产业价值

    、内存革命:48GB/96GB LPDDR4X 背后的带宽博弈 很多开发者容易陷入唯算力论的误区,但在实际部署大模型时,内存容量和带宽往往是真正的性能瓶颈。OrangePi AI St
    发表于 03-10 14:19

    模型推理服务的弹性部署与GPU调度方案

    7B 模型 FP16 推理需要约 14GB 显存,70B 模型需要 140GB+,KV Cache 随并发数线性增长,显存碎片化导致实际利用
    的头像 发表于 03-03 09:29 407次阅读

    【CIE全国RISC-V创新应用大赛】基于 K1 AI CPU 的大模型部署落地

    8GB 物理内存 (且操作系统还要占用约 500MB+)。 结论 :如果直接照搬官方文档下载 Q4 模型, 100% 会因为内存不足(OOM)而无法运行 。 为了满足赛题要求,必须采用 “极限
    发表于 11-27 14:43

    AI模型的配置AI模型该怎么做?

    STM32可以跑AI,这个AI模型怎么搞,知识盲区
    发表于 10-14 07:14

    康盈半导体AI应用存储新品震撼发布,elexcon 2025 现场引爆行业关注

    AI眼镜等AI终端领域应用产品:ePOP嵌入式存储芯片,拥有多容量组合,如8GB+8Gb、32GB+16Gb、32
    的头像 发表于 08-28 10:01 3.1w次阅读
    康盈半导体<b class='flag-5'>AI</b>应用<b class='flag-5'>存储</b>新品震撼发布,elexcon 2025 现场引爆行业关注

    华为将于9月4日发布新款三折叠手机

    是15000元左右。相比其前代产品有一定的降价;我们查询看到华为Mate XT非凡大师16GB+256GB版本的价格为19999元、16GB+512GB版本价格是21999元、而16GB+1TB的版本高达23999元。
    的头像 发表于 08-27 11:50 1004次阅读

    铠侠第九代 BiCS FLASH™ 512Gb TLC 存储器开始送样

    融合现有存储单元与先进的 CMOS 技术,实现投资效益最大化   全球存储解决方案领导者铠侠宣布,其采用第九代 BiCS FLASH™ 3D 闪存技术的 512Gb TLC存储器已开始
    发表于 07-28 15:30 858次阅读

    后摩智能发布全新端边大模型AI芯片

    产品矩阵。M50 芯片实现了160TOPS@INT8、100TFLOPS@bFP16 的物理算力,搭配最大 48GB 内存与153.6 GB/s 的超高带宽,典型功耗仅 10W,相当于手机
    的头像 发表于 07-26 16:09 1806次阅读

    GB10超级芯片开卖!正式杀入AI PC

    电子发烧友网综合报道,近日,联发科与英伟达合作开发的GB10超级芯片,作为首款个人AI超级电脑的核心组件,已经获得了主要PC品牌大厂的青睐,并将于本月起陆续上市开卖。   在今年1月的CES展会
    的头像 发表于 07-09 01:21 4350次阅读

    8999元起!荣耀Magic V5首发,树立折叠屏手机新标杆

    16GB+512GB版本10999元。 Magic V5两大突破:青海湖刀片电池+鲁班大模型,夯实纤薄体验 荣耀新CEO李健表示,决定折叠屏手机厚度的核心因素是电
    的头像 发表于 07-04 09:10 9527次阅读
    8999元起!荣耀Magic V5首发,树立折叠屏<b class='flag-5'>手机</b>新标杆

    8999元起!荣耀Magic V5发布,树立折叠屏手机新标杆

    。荣耀Magic V5对比OPPO在6月份发布的Find N5,重量减少了16g,荣耀官宣Magic V5价格8999元起,16GB+512GB版本9999元,16GB+512GB版本10999元。
    的头像 发表于 07-03 14:23 1.3w次阅读
    8999元起!荣耀Magic V5发布,树立折叠屏<b class='flag-5'>手机</b>新标杆