0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GPU如何突破算力供需瓶颈

沐曦MetaX 来源:沐曦MetaX 2023-08-22 10:26 次阅读

近日,2023中国算力大会在宁夏银川举行,沐曦集成电路(上海)有限公司(下称“沐曦”)联合创始人、CTO兼首席硬件架构师彭莉受邀出席由中国信息通信研究院、中国互联网协会联合举办的智能计算论坛,并担任演讲嘉宾,探讨后GPT时代算力需求激增带来的挑战以及GPU如何突破算力供需瓶颈、推动人工智能产业普惠化发展。

沐曦联合创始人、CTO兼首席硬件架构师彭莉

发表主题演讲

在题为“后GPT时代的算力需求”的演讲中,彭莉预测大模型商业模式将分为通用计算市场和专用定制化市场两大类:在通用计算市场,大语言模型将终结多数NLP任务,NLP技术水平被强行拉平,通用大模型或被大厂“垄断”;而在专用定制化市场,开源大模型将呈现百花齐放的发展态势,可针对私有数据、敏感数据进行快速定制和领域对齐,大模型开发和部署能力将趋于普及化。

彭莉指出,区别于传统AI,生成式AI技术可以借助接入类ChatGPT应用发挥显著的技术优势,为大语言模型的开发降本增效,同时也对算力提出更高和更迫切的要求。由于大模型训练的一次性成本被大规模推理摊薄,大模型盈利的一大难点是降低推理成本。沐曦致力于打造高效通用的GPU芯片及软硬件一体的生态解决方案,通过GPU软件生态优势、硬件架构优势、先进封装等方面全面提升GPU算力,降低大模型训练和推理的算力成本,在产品路线和生态战略上均可满足大模型对算力基础设施的大规模需求,为推进智能产业可持续发展打造坚实的算力底座。

审核编辑:彭菁

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 集成电路
    +关注

    关注

    5320

    文章

    10732

    浏览量

    353374
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4417

    浏览量

    126702
  • 硬件
    +关注

    关注

    11

    文章

    2922

    浏览量

    64778
  • 沐曦
    +关注

    关注

    0

    文章

    25

    浏览量

    1088
  • 大模型
    +关注

    关注

    2

    文章

    1516

    浏览量

    1103
收藏 人收藏

    评论

    相关推荐

    NVLink技术之GPUGPU的通信

    在多 GPU 系统内部,GPU 间通信的带宽通常在数百GB/s以上,PCIe总线的数据传输速率容易成为瓶颈,且PCIe链路接口的串并转换会产生较大延时,影响GPU并行计算的效率和性能。
    发表于 03-27 09:40 317次阅读
    NVLink技术之<b class='flag-5'>GPU</b>与<b class='flag-5'>GPU</b>的通信

    Nvidia与AMD新芯片,突破PCIe瓶颈

    AMD 和 Nvidia 的 GPU 都依赖 PCI 总线与 CPU 进行通信。CPU 和 GPU 有两个不同的内存域,数据必须通过 PCI 接口从 CPU 域移动到 GPU 域(并返回)。
    的头像 发表于 03-08 14:15 233次阅读
    Nvidia与AMD新芯片,<b class='flag-5'>突破</b>PCIe<b class='flag-5'>瓶颈</b>

    能RADXA微服务器试用体验】Radxa Fogwise 1684X Mini 规格

    通过网络可以了解到,能RADXA微服务器的具体规格: 处理器:BM1684X :高达32Tops INT8峰值 内存:16GB L
    发表于 02-28 11:21

    iBeLink KS MAX 10.5T大领跑KAS新领域

    —KHeavyHash。在市场上,有一款挖掘机可以满足这个要求,那就是iBeLink ks max 10.5T。 iBeLink ks max 10.5T是一款专为Kaspa挖掘而设计的挖掘机,它的
    发表于 02-20 16:11

    请问用强大的SOC来控制汽车是不是能够大幅减少MCU的使用数量?

    来自一位用户的咨询,麻烦帮忙解答,越详细越好,有图有真相,可以适当提供一些英飞凌解决方案和产品推荐。 用强大的SOC来控制汽车是不是能够大幅减少MCU的使用数量? 未来电动汽车会使用SOC来代替大量MCU?
    发表于 02-02 07:16

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    FPGA和CPU、GPU有什么区别?为什么越来越重要?

    的单元?本质上是由于 CPU 的到达瓶颈了,背后是通用计算时代的终结。从发明 以来, CPU 的提升主要依靠两大法宝:一是提高时钟频
    发表于 11-09 14:09

    什么是换电呢?换电真能突破电动汽车的发展瓶颈吗?

    什么是换电呢?换电真能突破电动汽车的发展瓶颈吗? 换电是指在电动汽车行驶过程中,到达特定的服务站点,将电动汽车的电池组以换电方式进行更换的服务。 电动汽车作为未来交通的主要趋势,但是由于充电时间过长
    的头像 发表于 11-06 10:56 1063次阅读

    c语言时间for延时,怎么时间?

    c语言时间 for延时,怎么时间?for(i=;;)
    发表于 10-08 07:46

    沐曦彭莉谈后GPT时代的算力需求

    演讲嘉宾,探讨后GPT时代算力需求激增带来的挑战以及GPU如何突破算力供需瓶颈、推动人工智能产业普惠化发展。
    的头像 发表于 08-22 10:26 883次阅读

    GPU国产化率不足1%!沐曦GPU芯片曦思N100和曦云C500火爆登场

    ChatGPT为代表的生成式 AI 应用引发新一轮算力需求,导致供需矛盾特别突出。”沐熙高级产品总监周彬表示。   数字时代爆发的技术变革,使得智能化加速。根据 IDC 数据,2023年全球高性能 AI 服务器市场规模预计达 248 亿美元,年增率预计高达 27%。国产GPU
    的头像 发表于 08-16 01:13 8523次阅读
    <b class='flag-5'>GPU</b>国产化率不足1%!沐曦<b class='flag-5'>GPU</b>芯片曦思N100和曦云C500火爆登场

    英伟达:GPU产量瓶颈在于芯片封装

    能够满足消费者或专家用工作负荷(如ai)的gpu的制作问题会在后续包装阶段发生。nvidia的h系列gpu使用设备的2.5d cowos包装技术,这是一个多阶段的高精密工程过程,可以减少在给定时间内组装的gpu数量,从而影响供应
    的头像 发表于 08-08 09:37 423次阅读

    基于磁贴的GPU架构优缺点

    本指南介绍了基于磁贴的GPU架构的优缺点。它还将ARM马里基于瓷砖的GPU架构设计与台式PC或控制台中常见的更传统的即时模式GPU进行了比较。 马里GPU使用基于平铺的渲染体系结构。
    发表于 08-02 12:54

    常见GPU利用率低原因分析

    GPU 任务会交替的使用 CPU 和 GPU 进行计算,当 CPU 计算成为瓶颈时,就会出现 GPU 等待的问题,GPU 空跑那利用率就低了
    发表于 06-19 12:22 971次阅读
    常见<b class='flag-5'>GPU</b>利用率低原因分析

    如何获取GPU vivante这些文件和目录?

    我必须对 GPU vivante 进行一些测试。我可以在文档中看到它提到了 /unit_tests/GPUgpu.sh 和 gpu_info.sh 以及一些示例 /opt/viv_
    发表于 05-22 06:27