0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

省成本还是省时间,AI计算上的GPU与ASIC之选

E4Life 来源:电子发烧友 作者:周凯扬 2023-07-17 00:01 次阅读
电子发烧友网报道(文/周凯扬)随着AI计算逐渐蚕食通用计算的份额,数据中心硬件市场已经开始出现了微妙的变化。最抢手的目前已经成了GPU,反观CPUASICFPGA等硬件,开始成为陪衬。但高昂的售价以及强绑定的供应关系,还是让不少企业开始探索别的出路。
仍在被疯抢的GPU
在今年第一季度AI热潮高涨下,全球已经开启了一波GPU抢购。无论是借助GPU开发各自大模型应用的互联网厂商,还是想借此发展其AI服务器业务的云服务厂商,都在抢购英伟达目前主推的A100和H100两大GPU。
就连台积电哪怕第一季度业绩下滑明显,其CEO魏哲家在法说会上也表示在AI相关的需求上观察到了增量上行,将帮助其在今年实现可观的库存消化。
H100 GPU / 英伟达
在美国商务部半导体出口新规刚推出不久,A100在非正常渠道的单价就飙升至20000美元,是原价的两倍左右。为此英伟达仅仅面向中国市场推出了A800和H800,只不过将高速互联总线NVLink限制在了400GB/s,但好歹仍足以满足大部分AI计算的需求。
可好景不长,随着紧缺和抢购的趋势很快蔓延到了A800和H800上,据了解,国内市场的A800单价一周上涨了30%,从原来9万元上升至13万元,甚至连带使得搭载该卡的服务器现货同样涨价,颇有当年矿潮期显卡涨价整机一并涨价的趋势。
使其状况更加恶化的是,英伟达据传大量削减了A800的供应,而是转为推广更高端也更昂贵的H800,单价在25万元左右。高端的GPU无疑能够带来更高的性能,但性价比相对较低,大规模部署的成本也会更加难以承受。所以从全球市场的购买表现上来看,互联网公司和云服务厂商显然觉得A100或A800更香一点。
可为了更高的利润转化,英伟达决心调整A800和H800的供应比例的话,也就说得过去了。A100的市场流通率较高,而A800这种面世不久的特供产品,也更方便在供应上加以限制。
省时和省钱
既然GPU困人已久,为何不打破这一限制,转用大规模量产成本更低的ASIC产品呢?事实上,很多厂商早就有类似的心思,只不过执行起来却是寸步难行。首先对于大模型这样的AI应用来说,硬件性能只是一个方面,拥有优质的软件生态也很重要。
英伟达的CUDA成了任何进军AI产业的公司在软件生态上的一头拦路虎,迟迟没法突破。固然ASIC的方案可以省下不少硬件成本,但在软件上仍有不小的障碍。初创公司ASIC硬件的软件生态不成熟,巨头自研的产品又难以与第三方开发结合起来,或者说能打造出爆品应用的概率更低。
反观CUDA,发展这么多年积累的各种library已经逐渐趋于成熟,甚至在英伟达的GPU上优化到了最佳状态,开发者只需要调用API即可实现所需的效果。这堵墙就连同为GPU厂商的AMD等竞争对手都未能攻破,因为AI时代下省时才能抢占先机,省钱是之后采取考虑的事。
话虽如此,相关的尝试依旧没有停止,诸如谷歌的TPU、亚马逊的Trainium以及微软最近在研究的Chiplet Cloud等等,都是厂商们对ASIC持续看好的表现。可以看出,让互联网企业,尤其是芯片设计能力欠缺的企业,去走ASIC这条路线是很难的。而托管了诸多第三方芯片设计平台、大模型和AI计算负载的云服务厂商,有这个技术积累,也有实力组建或已组建达标的芯片设计队伍,最终做到省时又省钱。
写在最后
ASIC固然前景可观,但目前厂商们在购置GPU上花的钱多半是多于自研投入的,这也就是GPU作为通用计算硬件的future proofing性质。可能在GPT爆火的今年,这款ASIC提供了远超GPU的性能或成本优势,但未来保不齐会出现其他的爆品应用。GPU可以很快调转势头,但ASIC就可能会被淘汰。所以对这些公司来说,无论是购买A100还是A800,不仅是对现在的投资,也是对未来的投资。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • asic
    +关注

    关注

    34

    文章

    1158

    浏览量

    119269
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4424

    浏览量

    126724
  • AI
    AI
    +关注

    关注

    87

    文章

    26472

    浏览量

    264106
收藏 人收藏

    评论

    相关推荐

    科技驱动未来,提升AI算力,GPU扩展正当时

    GPU可以大幅缩短AI算法的训练和推断时间,从而节省时间成本
    的头像 发表于 04-16 18:22 635次阅读
    科技驱动未来,提升<b class='flag-5'>AI</b>算力,<b class='flag-5'>GPU</b>扩展正当时

    AI服务器异构计算深度解读

    AI服务器按芯片类型可分为CPU+GPU、CPU+FPGA、CPU+ASIC等组合形式,CPU+GPU是目前国内的主要选择(占比91.9%)。
    发表于 04-12 12:27 85次阅读
    <b class='flag-5'>AI</b>服务器异构<b class='flag-5'>计算</b>深度解读

    FPGA在深度学习应用中或将取代GPU

    基础设施,人们仍然没有定论。如果 Mipsology 成功完成了研究实验,许多正受 GPU 折磨的 AI 开发者将从中受益。 GPU 深度学习面临的挑战 三维图形是 GPU 拥有如此
    发表于 03-21 15:19

    到底什么是ASIC和FPGA?

    ? 最后,我们还是要绕回到AI芯片的话题。 上一期,小枣君埋了一个雷,说AI计算分训练和推理。训练是GPU处于绝对领先地位,而推理不是。我
    发表于 01-23 19:08

    FPGA、ASICGPU谁是最合适的AI芯片?

    CPU、GPU遵循的是冯·诺依曼体系结构,指令要经过存储、译码、执行等步骤,共享内存在使用时,要经历仲裁和缓存。 而FPGA和ASIC并不是冯·诺依曼架构(是哈佛架构)。以FPGA为例,它本质上是无指令、无需共享内存的体系结构。
    发表于 01-06 11:20 573次阅读
    FPGA、<b class='flag-5'>ASIC</b>、<b class='flag-5'>GPU</b>谁是最合适的<b class='flag-5'>AI</b>芯片?

    英伟达用AI设计GPU算术电路有何优势

    大量的算术电路阵列为英伟达GPU提供了动力,以实现前所未有的AI、高性能计算计算机图形加速。因此,改进这些算术电路的设计对于提升 GPU
    发表于 12-05 11:05 226次阅读

    ASICGPU,谁才是AI计算的最优解?

    电子发烧友网报道(文/周凯扬)随着AI计算开始有着风头盖过通用计算开始,不少芯片厂商都将其视为下一轮技术革新。CPU、GPU、FPGA和ASIC
    的头像 发表于 12-03 08:31 1444次阅读
    <b class='flag-5'>ASIC</b>和<b class='flag-5'>GPU</b>,谁才是<b class='flag-5'>AI</b><b class='flag-5'>计算</b>的最优解?

    不只是GPU,内存厂商们的AI野望

    电子发烧友网报道(文/周凯扬)在诸多云服务厂商或互联网厂商一头扎进GPU的疯抢潮后,不少公司也发现了限制AI大模型性能或是成本消耗的除了GPU以外,还有内存。内存墙作为横亘在
    的头像 发表于 09-01 00:18 945次阅读
    不只是<b class='flag-5'>GPU</b>,内存厂商们的<b class='flag-5'>AI</b>野望

    AI芯片的应用场景和发展趋势

    AI芯片也被称为AI加速器或计算卡,即专门用于处理人工智能应用中的大量计算任务的模块(其他非计算任务仍由CPU负责)。当前,
    的头像 发表于 08-06 16:18 1024次阅读

    Ai 部署的临界考虑电子指南

    %数据中心的工作量。平方GPU对培训工作量有效,但在人工智能的所有不同阶段都不需要GPU。在2021年的一项研究中,56%的研究受访者将成本列为他们面临的最重大挑战实施AI/ML解决方
    发表于 08-04 07:25

    AI芯片的优势和主要挑战 AI芯片和存储芯片的区别

      AI芯片也被称为AI加速器或计算卡,即专门用于处理人工智能应用中的大量计算任务的模块(其他非计算任务仍由CPU负责)。当前,
    的头像 发表于 08-03 17:19 2253次阅读

    用Chiplet解决ASIC在LLM上的成本问题

    ,训练与推理如果要花费同样的硬件成本,那么即便是大厂也难以负担。   所以不少厂商都在追求如何削减TCO(总拥有成本)的办法,有的从网络结构出发,有的从自研ASIC出发的,但收效甚微,到最后
    的头像 发表于 07-18 00:15 932次阅读
    用Chiplet解决<b class='flag-5'>ASIC</b>在LLM上的<b class='flag-5'>成本</b>问题

    参考设计节省时间和精力

    为什么要重新发明轮子,尤其是在紧迫的项目期限总是迫在眉睫的情况下?借助可免费下载的参考设计,您可以快速了解您的应用程序,并将任何开发风险降至最低。我们的参考设计是完整的应用电路,包括至少一个Maxim IC,由我们的工程师设计、构建和广泛测试。
    的头像 发表于 06-29 16:25 396次阅读
    参考设计节<b class='flag-5'>省时间</b>和精力

    如何通过电源设计节省时间和空间

    从工业物联网 (IIoT) 到网络基础设施设备,下一代电子系统正在注入新的智能,在不断缩小的空间中需要更多功率,而不会影响热预算。因此,传统的解决方案并不合适。然而,考虑到上市时间的压力,设计人员没有大量的时间来设计电源,他们必须在有限的空间内努力散热,同时满足冲击、振动
    的头像 发表于 06-28 18:02 377次阅读
    如何通过电源设计节<b class='flag-5'>省时间</b>和空间

    如何正确使用VH501TC振弦手持读数仪?

    正确使用仪器能有效的节省时间成本,提高工作效率,正如磨刀不如砍柴工。
    发表于 06-13 14:50