0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GPU如何突破算力供需瓶颈

沐曦MetaX 来源:沐曦MetaX 2023-08-22 10:26 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近日,2023中国算力大会在宁夏银川举行,沐曦集成电路(上海)有限公司(下称“沐曦”)联合创始人、CTO兼首席硬件架构师彭莉受邀出席由中国信息通信研究院、中国互联网协会联合举办的智能计算论坛,并担任演讲嘉宾,探讨后GPT时代算力需求激增带来的挑战以及GPU如何突破算力供需瓶颈、推动人工智能产业普惠化发展。

沐曦联合创始人、CTO兼首席硬件架构师彭莉

发表主题演讲

在题为“后GPT时代的算力需求”的演讲中,彭莉预测大模型商业模式将分为通用计算市场和专用定制化市场两大类:在通用计算市场,大语言模型将终结多数NLP任务,NLP技术水平被强行拉平,通用大模型或被大厂“垄断”;而在专用定制化市场,开源大模型将呈现百花齐放的发展态势,可针对私有数据、敏感数据进行快速定制和领域对齐,大模型开发和部署能力将趋于普及化。

彭莉指出,区别于传统AI,生成式AI技术可以借助接入类ChatGPT应用发挥显著的技术优势,为大语言模型的开发降本增效,同时也对算力提出更高和更迫切的要求。由于大模型训练的一次性成本被大规模推理摊薄,大模型盈利的一大难点是降低推理成本。沐曦致力于打造高效通用的GPU芯片及软硬件一体的生态解决方案,通过GPU软件生态优势、硬件架构优势、先进封装等方面全面提升GPU算力,降低大模型训练和推理的算力成本,在产品路线和生态战略上均可满足大模型对算力基础设施的大规模需求,为推进智能产业可持续发展打造坚实的算力底座。

审核编辑:彭菁

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 集成电路
    +关注

    关注

    5469

    文章

    12740

    浏览量

    376237
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5321

    浏览量

    136208
  • 硬件
    +关注

    关注

    13

    文章

    3666

    浏览量

    69232
  • 沐曦
    +关注

    关注

    1

    文章

    118

    浏览量

    1894
  • 大模型
    +关注

    关注

    2

    文章

    3863

    浏览量

    5296
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI时代瓶颈如何破?先进封装成半导体行业竞争新高地

    瓶颈的核心驱动力。当传统通过缩小晶体管尺寸来提升性能的方式,因愈发困难且成本高昂而面临瓶颈时,先进封装凭借创新的连接和集成技术脱颖而出。它能让多个芯片(或芯粒)紧密且高效地协同工作
    的头像 发表于 02-23 06:23 1.4w次阅读

    时延小于1毫秒,工信部发布全光网络重磅利好政策

    信号传输物理瓶颈限制,存在时延高、带宽不足、扩展性差等问题,难以支撑未来百万卡级智集群的规模化部署。在此形势下,光通信技术凭借超低时延、超大带宽和协议透明性等优势,成为突破
    的头像 发表于 10-20 07:17 1.1w次阅读
    时延小于1毫秒,工信部发布全光<b class='flag-5'>算</b><b class='flag-5'>力</b>网络重磅利好政策

    企业如何突破AI困局?2026 年异构管理平台推荐

    时代的管理困局 “买了 GPU 卡,却用不起来”——这是当下许多企业 IT 负责人的真实困扰。 随着生成式 AI 技术的快速普及,企业需求呈指数级增长。据 IDC 数据,2024 年中国智能
    的头像 发表于 05-20 12:53 72次阅读

    拆解存一体技术瓶颈,亿铸科技如何逐个突破

    搬运,不仅造成带宽与时延瓶颈,还产生极高额外能耗。行业内一个公认的观点是:当前 AI 计算中数据搬运成本已远超计算本身成本,存储墙、能耗墙成为制约的两大核心瓶颈。 存
    的头像 发表于 05-14 09:51 226次阅读

    容量与能效双突破!美光245TB SSD现已出货,为AI“提速”

    电子发烧友网报道(文/李弯弯)AI大模型与AI Agent的爆发,正以指数级速度催生海量数据。作为数字经济的底座,数据中心的基础设施面临前所未有的挑战,其中,存储系统已成为决定AI效率的核心瓶颈
    的头像 发表于 05-11 09:13 6484次阅读

    突破瓶颈:杰和科技LM2-100-V0模组在人形机器人中的应用解析

    )的LM2-100-V0AI模组,正是为了解决这一“不足”的痛点而设计的。它作为一个独立的高性能
    的头像 发表于 04-28 16:33 506次阅读
    <b class='flag-5'>突破</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>瓶颈</b>:杰和科技LM2-100-V0<b class='flag-5'>算</b><b class='flag-5'>力</b>模组在人形机器人中的应用解析

    国产出海元年开启

    节点的亮相则宣告:国产的时代,或许真的来了。随着中国芯片与大规模集群技术的突破,国产
    的头像 发表于 03-24 15:15 737次阅读
    国产<b class='flag-5'>算</b><b class='flag-5'>力</b>出海元年开启

    阿里云全光互联架构,突破AI瓶颈

    电子发烧友网报道(文/李弯弯)全球基建叙事生变,正从GPU时代迈向连接为王的通信时代。Scaling-law边际效益放缓,芯片间连接
    的头像 发表于 02-27 09:19 2661次阅读
    阿里云全光互联架构,<b class='flag-5'>突破</b>AI<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>瓶颈</b>

    GPU 利用率<30%?这款开源智云平台让不浪费 1%

    作为 AI 开发者,你是否早已受够这些困境:花数百万采购的 GPU 集群,利用率常年低于 30%,闲置如同烧钱;跨 CPU/GPU/NPU 异构资源调度难如登天,模型训练卡在资源分
    的头像 发表于 01-26 14:20 330次阅读

    友思特方案 | 突破 Jetson平台的接口性能瓶颈,Gidel 基于FPGA的高速边缘AI视觉系统

    友思特合作伙伴Gidel FantoVision 成功突破 Jetson I/O 性能瓶颈,助力开发者毫无妥协地将像素数据转化为智能,实现边缘视觉 AI 的极致落地。
    的头像 发表于 01-13 10:22 2175次阅读
    友思特方案 | <b class='flag-5'>突破</b> Jetson平台的接口性能<b class='flag-5'>瓶颈</b>,Gidel 基于FPGA的高速边缘AI视觉系统

    湘军,让变成生产

    脑极体
    发布于 :2025年11月25日 22:56:58

    中兴通讯荣获2025中国大会年度重大突破成果奖

    近日,在2025中国大会上,中兴通讯凭借“基于GPU卡间高速互联开放架构和自研‘凌云’AI交换芯片的智超节点系统”荣获年度重大突破成果
    的头像 发表于 08-28 14:40 5882次阅读

    从材料到集成:光子芯片技术创新,突破瓶颈

    时延、高带宽、低功耗的数据处理能力。随着人工智能需求呈爆发式增长,光子芯片技术路线呈现出多元化的发展态势。   主流技术路线:从材料创新到系统集成的突破   当前,光子芯片领域形成了多种主流技术路线。硅基光子集
    的头像 发表于 08-21 09:15 9827次阅读

    热插拔集群

    能力‌ 服务器节点热插拔‌:集群服务器支持在线更换计算节点(如2U服务器容纳12个热插拔AI节点,单节点集成5个卡)。 GPU/卡扩
    的头像 发表于 06-26 09:20 1319次阅读

    【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】+NVlink技术从应用到原理

    前言 【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」书中的芯片知识是比较接近当前的顶尖芯片水平的,同时包含了芯片架构的基础知识,但该部分知识比较晦涩难懂,或许是由于我一直从事的事芯片
    发表于 06-18 19:31