当大模型从技术探索迈向规模化应用深水区,“算力供需失衡”与“推理成本高企”已成为制约产业发展的关键瓶颈。
在近期举办的ICCAD2025“IC设计与应用创新论坛”上,云天励飞副总裁罗忆发表主题演讲,立足全球AI算力格局从训练转向推理的时代变局,解读了通过基础设施优化实现推理降本的核心逻辑,并重点分享了云天励飞创新的GPNPU架构,为国产AI芯片的发展提供了切实可行的思路。
行业双拐点将至:推理算力成主力,国产芯片迎替代窗口期
“从训练‘狂飙’到推理‘深耕’,AI产业正进入价值落地的关键阶段。”罗忆在演讲中开篇点题。他引用数据称,2025年年中我国AI日均Token推理量已突破30万亿,一年半内增长超300倍;预计到年底,AI推理算力消耗将首次超过训练,成为驱动算力需求的核心引擎。
与此同时,国产芯片的替代浪潮正在加速。在海外高端GPU供应受限及国内“人工智能+”行动等政策支持的双重影响下,国产AI芯片市场占比持续提升,预计年底其使用量有望首次超越国外芯片,迎来历史性的替代窗口期。罗忆强调:“第四次工业革命中,AI推理芯片是核心。中国要实现算力自主可控,必须在效率与成本上找到差异化突破路径。”
解码AI推理降本:四个维度协同优化提升大模型推理性价比
大模型规模化落地的核心挑战,在于“效果-性能-成本”的平衡难题,高质量大模型推理的百万Token成本高企,是产业规模化的重要瓶颈。
云天励飞给出了“Token经济学公式”:百万Token成本 = (年资本开支+年营运成本) ÷ (加速卡年吞吐量×设备利用率),将大模型推理成本优化指向“硬件投入、运维消耗、软件优化、生态适配”四个维度。
云天励飞解法:GPNPU 打造国产自主算力底座
面对国产工艺约束与产业规模化需求,云天励飞创新性提出 GPNPU架构,核心是融合 GPU 的通用性与 NPU 的高能效,通过“算力积木” 架构、3D 堆叠存储等关键技术破解行业痛点。“算力积木” 架构实现了国产工艺下的全链路自主可控,达成 “一次流片、多规格输出”,算力覆盖 8T 至 256T,贯穿端、边、云全场景部署需求。
罗忆最后提到,云天励飞正加速迭代第五代GPNPU架构“Nova 500”,聚焦带宽与能效升级,全力冲刺“百万Token成本1元内”目标。未来,云天励飞愿携手产业链伙伴,让算力从精英资源走向普惠,成为社会智能化的公共底座,为中国抢占第四次工业革命制高点贡献力量!
-
IC设计
+关注
关注
38文章
1369浏览量
107908 -
gpu
+关注
关注
28文章
5099浏览量
134457 -
云天励飞
+关注
关注
0文章
173浏览量
12576
原文标题:ICCAD 2025|解码AI推理降本之道,GPNPU创新架构筑牢国产算力底座
文章出处:【微信号:IntelliFusion2,微信公众号:云天励飞】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
锐成芯微四大IP平台亮相ICCAD-Expo 2025
华大九天亮相ICCAD-Expo 2025
安路科技亮相ICCAD-Expo 2025
中芯国际亮相ICCAD-Expo 2025
行芯科技亮相ICCAD-Expo 2025
中科芯亮相ICCAD-Expo 2025
成都华微亮相ICCAD-Expo 2025
芯行纪亮相ICCAD-Expo 2025
旋极星源亮相ICCAD-Expo 2025
英诺达亮相ICCAD-Expo 2025
奇捷科技亮相ICCAD-Expo 2025
芯盛智能亮相ICCAD-Expo 2025
芯原精彩亮相ICCAD-Expo 2025

云天励飞亮相ICCAD-Expo 2025
评论