电子发烧友网综合报道,在人工智能迅猛发展的当下,AI推理芯片需求正呈爆发式增长。
AI推理,即支撑如ChatGPT这类AI模型响应用户问题和请求的计算过程。过去,英伟达在训练大型AI模型所需芯片领域占据主导,其GPU凭借强大的海量数据处理能力,成为全球AI爆炸式增长的重要基石。但随着AI不断演进,重点正从大规模训练转向对已训练模型的推理和推断,推理已然成为新的竞争战场。业内普遍分析,到2026年,全球AI推理需求将超越AI训练场景。
推理与训练对芯片要求差异明显。训练侧重海量数据处理,推理则对内存需求更高,因芯片需花更多时间从内存获取数据。英伟达和AMD的GPU依赖外部内存,这会增加处理时间,降低用户与聊天机器人交互速度。以OpenAI为例,其用于生成计算机代码且大力推广的产品Codex,部分性能不足就归因于基于英伟达GPU的硬件。OpenAI首席执行官Sam Altman称,使用其编程模型的客户愿为编码速度支付高溢价,为满足需求,OpenAI最近与Cerebras达成合作。
自去年起,OpenAI积极寻找GPU替代方案,重点关注在同一块硅片上集成大量内存(SRAM)的芯片制造商。在每颗芯片上集成更多昂贵的SRAM,能在聊天机器人等AI系统处理海量用户请求时带来速度优势。
面对推理市场的巨大潜力,其他企业也纷纷布局。Anthropic的Claude和谷歌的Gemini等竞争产品,更多依赖谷歌自研的TPU进行部署。TPU专为推理计算设计,性能可能优于英伟达GPU这类通用型AI芯片。
英伟达也未坐视不理。不久前,它以200亿美元收购一家AI推理芯片初创企业Groq的技术授权,并将核心团队招入麾下。Groq专注极致推理,其创始人Jonathan Ross带领谷歌TPU原班人马,耗时七年打造出LPU(语言处理单元)架构,曾宣称推理性能是英伟达H100 GPU的10倍,成本仅为其十分之一。
国内企业同样在积极布局。曦望董事长徐冰预计,到2030年,AI推理在整个AI计算市场将占80%份额,聚焦极致推理的AI芯片未来爆发性更强。1月27日,国产GPU厂商曦望发布新一代推理GPU芯片——启望S3。这款专为大模型推理打造的定制化GPGPU芯片,在典型推理场景下,整体性价比较上一代提升超10倍。在算力与存储设计上,支持FP16至FP4精度切换,采用LPDDR6显存方案,显存容量提升4倍,有效缓解大模型推理的显存瓶颈,成为国内首款采用此显存方案的芯片。在主流大模型推理中,单位Token成本较上一代降低约90%,极大推动了大模型推理的大规模普惠应用。
云天励飞自2014年成立便持续投入AI推理芯片研发,已推出四代基于深度神经网络架构的自研NPU,并基于最新NPU架构推出多款芯片,应用于端侧与边缘侧AI推理场景。公司副总裁郑文先表示,正在研发的新一代芯片采用GPNPU架构,既适应GPU的CUDA生态,方便客户模型牵引,又兼顾NPU的高效灵活,成本更具优势,符合未来大模型在端侧与边缘侧规模化落地的需求。董事长陈宁博士称,未来AI需求转向推理,对AI芯片需求也将从训练芯片转向推理芯片,GPNPU架构是通用型大算力云端推理芯片架构的最优解,公司将全力投入大算力AI推理芯片研发,打造极致推理效率和性价比的大模型云推理芯片。
AI推理,即支撑如ChatGPT这类AI模型响应用户问题和请求的计算过程。过去,英伟达在训练大型AI模型所需芯片领域占据主导,其GPU凭借强大的海量数据处理能力,成为全球AI爆炸式增长的重要基石。但随着AI不断演进,重点正从大规模训练转向对已训练模型的推理和推断,推理已然成为新的竞争战场。业内普遍分析,到2026年,全球AI推理需求将超越AI训练场景。
推理与训练对芯片要求差异明显。训练侧重海量数据处理,推理则对内存需求更高,因芯片需花更多时间从内存获取数据。英伟达和AMD的GPU依赖外部内存,这会增加处理时间,降低用户与聊天机器人交互速度。以OpenAI为例,其用于生成计算机代码且大力推广的产品Codex,部分性能不足就归因于基于英伟达GPU的硬件。OpenAI首席执行官Sam Altman称,使用其编程模型的客户愿为编码速度支付高溢价,为满足需求,OpenAI最近与Cerebras达成合作。
自去年起,OpenAI积极寻找GPU替代方案,重点关注在同一块硅片上集成大量内存(SRAM)的芯片制造商。在每颗芯片上集成更多昂贵的SRAM,能在聊天机器人等AI系统处理海量用户请求时带来速度优势。
面对推理市场的巨大潜力,其他企业也纷纷布局。Anthropic的Claude和谷歌的Gemini等竞争产品,更多依赖谷歌自研的TPU进行部署。TPU专为推理计算设计,性能可能优于英伟达GPU这类通用型AI芯片。
英伟达也未坐视不理。不久前,它以200亿美元收购一家AI推理芯片初创企业Groq的技术授权,并将核心团队招入麾下。Groq专注极致推理,其创始人Jonathan Ross带领谷歌TPU原班人马,耗时七年打造出LPU(语言处理单元)架构,曾宣称推理性能是英伟达H100 GPU的10倍,成本仅为其十分之一。
国内企业同样在积极布局。曦望董事长徐冰预计,到2030年,AI推理在整个AI计算市场将占80%份额,聚焦极致推理的AI芯片未来爆发性更强。1月27日,国产GPU厂商曦望发布新一代推理GPU芯片——启望S3。这款专为大模型推理打造的定制化GPGPU芯片,在典型推理场景下,整体性价比较上一代提升超10倍。在算力与存储设计上,支持FP16至FP4精度切换,采用LPDDR6显存方案,显存容量提升4倍,有效缓解大模型推理的显存瓶颈,成为国内首款采用此显存方案的芯片。在主流大模型推理中,单位Token成本较上一代降低约90%,极大推动了大模型推理的大规模普惠应用。
云天励飞自2014年成立便持续投入AI推理芯片研发,已推出四代基于深度神经网络架构的自研NPU,并基于最新NPU架构推出多款芯片,应用于端侧与边缘侧AI推理场景。公司副总裁郑文先表示,正在研发的新一代芯片采用GPNPU架构,既适应GPU的CUDA生态,方便客户模型牵引,又兼顾NPU的高效灵活,成本更具优势,符合未来大模型在端侧与边缘侧规模化落地的需求。董事长陈宁博士称,未来AI需求转向推理,对AI芯片需求也将从训练芯片转向推理芯片,GPNPU架构是通用型大算力云端推理芯片架构的最优解,公司将全力投入大算力AI推理芯片研发,打造极致推理效率和性价比的大模型云推理芯片。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
AI
+关注
关注
91文章
39486浏览量
300604 -
OpenAI
+关注
关注
9文章
1244浏览量
9944
发布评论请先 登录
相关推荐
热点推荐
从英伟达到博通:OpenAI自研芯片版图浮出水面,开启推理效率革命
电子发烧友网报道(文/莫婷婷)在人工智能大模型训练与推理成本高企、算力需求呈指数级增长的背景下,OpenAI与Broadcom(博通)于10月正式宣布达成一项史无前例的战略合作:共同部
软通动力荣膺河南移动2025年DICT金牌合作伙伴
近日,以“金彩同行 智赋未来”为主题的河南移动2025年DICT金牌合作伙伴交流暨AI+领域合作能力展示大会在郑州举行。作为河南移动核心合作伙伴,软通动力受邀出席,并凭借在DICT领域
软通动力荣膺蚂蚁数科“领航AI Agent合作伙伴”
12月11日,首届蚂蚁数科生态合作伙伴大会在苏州召开。大会以“与AI同行· 价值共生”为主题,汇聚数字科技产业链核心力量,共探AI大模型产业落地路径与生态协同机遇,软通动力高级副总裁霍宇受邀出席会议
2025格科全球合作伙伴大会圆满落幕
2025年10月31日,格科全球合作伙伴大会在浙江嘉善圆满落幕。来自政府的领导、国内外知名品牌终端、代理商、模组厂、平台合作伙伴等核心客户,以及国内外的晶圆制造、镀膜、封测、半导体设备、材料、软硬件服务等合作伙伴代表齐聚一堂,共
利尔达亮相2025中国移动全球合作伙伴大会,共创AI+时代新生态
//10月10日至12日,以“碳硅共生合创AI+时代”为主题的2025中国移动全球合作伙伴大会在广州保利世贸博览馆盛大召开。作为中国移动的重要合作伙伴之一,利尔达携多款明星产品与解决方案惊艳亮相
AI业界新闻:OpenAI官宣自研首颗芯片 黄仁勋时隔9年再次给马斯克“送货”
设计、博通负责制造与系统集成。博通与OpenAI已经签署战略合作,OpenAI与博通就共同开发和供应AI芯片达成了长期协议。 据悉,这是一款
NVIDIA携手OpenAI构建AI基础设施
NVIDIA 首席执行官黄仁勋、OpenAI 首席执行官 Sam Altman 和 OpenAI 总裁 Greg Brockman 宣布了一项新的合作伙伴关系,旨在推动 OpenAI
SILEX希来科与QUALCOMM高通公司长达15年的战略合作伙伴关系 高通认证开发合作伙伴~高通官网能找到silex希来科
2005年起一直从事高通创锐讯无线局域网/蓝牙模块的开发、销售和支持。
响应客户需求,以自己公司的工厂和合作伙伴之间的协作构建起供应链,以“追求不掉线的无线”为目标,执着于品质的提升,并以一家足以将这些
发表于 08-28 23:33
SILEX希来科与高通公司长达15年的战略合作伙伴关系 高通认证开发合作伙伴
SILEX希来科与高通公司长达15年的战略合作伙伴关系 高通认证开发合作伙伴
AI+新能源,共创多赢!易事特集团2025数字能源合作伙伴联席大会圆满举行
近日,中原腹地郑州迎来了一场以“AI+新能源携手创未来”为主题的行业盛会——2025易事特数字能源合作伙伴联席大会。易事特集团数字能源核心团队继在北京成功举办合作伙伴大会之后,再度集结行业合作
2025联想中国合作伙伴大会圆满举办
近日,“同心同行 弄潮AI新时代”为主题的2025联想中国合作伙伴大会在上海圆满举办。联想重磅宣布,面向合作伙伴的大联想4.0迎来重大升级,发布总额超10亿元的合作伙伴激励计划。
亚马逊云科技发布“3+2”合作伙伴战略 与合作伙伴加速前行
北京 ——2025 年 4 月 25 日 在亚马逊云科技中国合作伙伴峰会上,亚马逊云科技发布“3+2”合作伙伴战略,聚焦全行业转型、生成式AI、云迁移和现代化三大业务战略,并通过亚马逊云
发表于 04-25 14:43
•993次阅读
AI驱动生态升级 萤石2025渠道合作伙伴大会擘画智能家居新蓝图
3月29日,以“AI聚力智拓新局”为主题的2025萤石渠道合作伙伴大会在绍兴隆重举行。这场汇聚全国1000余位合作伙伴的行业盛会,不仅是对2024年萤石卓越成绩的复盘,更是面向AI时代
研华科技亮相华为中国合作伙伴大会2025
作为华为重要的APN合作伙伴,研华受邀参与“华为中国合作伙伴大会”,展示了基于昇腾310P平台打造的边缘AI解决方案及产品。
AI推理芯片需求爆发,OpenAI欲寻求新合作伙伴
评论