0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

类ChatGPT训练需高性能芯片大规模并联,高速接口IP迎红利时代

lPCU_elecfans 来源:电子发烧友网 2023-03-10 09:47 次阅读

近段时间,ChatGPT的火热重新掀起人工智能产业热潮,尤其是AIGC(指利用人工智能技术来生成内容)领域,已经进入到狂飙姿态,头部科技企业争分夺秒地寻求抢先发布类ChatGPT应用。

众所周知,类ChatGPT应用是一个吞金兽,微软公司为了训练ChatGPT使用了1万张英伟达的高端GPU。“从训练的角度来看,计算性能再好的GPU芯片比如A100如果无法集群在一起去训练,那么训练一个类ChatGPT的大模型可能需要上百年。因此,AI大模型的训练对高速接口IP是一个巨大的挑战,也是一个巨大的机遇。”奎芯科技市场及战略副总裁唐睿在接受电子发烧友网采访时表示。

奎芯科技成立于2021年,该公司的口号是“芯粒高速互联,海量算力源泉 ”。目前,奎芯科技已经推出的高速接口IP组合包括USB、PCIe、SATA、SerDes、MIPIDDRHDMI、DP、HBM等丰富的类型。

类ChatGPT带动接口IP发展

半导体产业分布来看,IP是底层技术,接口IP同样如此,因此关键性和重要性是不言而喻的。那么在AIGC产业里,接口IP能够发挥哪些作用呢?唐睿提到了以下几点。

首先是芯片上的互联接口,也就是Die to Die类型的互联接口IP,包括UCIe等,用以扩充单芯片的计算能力;其次是Chip to Chip类型的互联接口IP,包括SerDes/PCIe/CXL等,能够加快芯片之间的互联和数据交换,满足更高带宽的需求;此外还有内存接口IP,包括SATA、DDR、HBM等,能够用于打造更高性能的存储产品,帮助类ChatGPT存储和交换大规模的数据;再上一层就是数据通讯接口的接口IP。因此,从训练的角度来看,类ChatGPT应用的爆发,能够带来非常大的接口IP需求。

在此前的预测里,有市场调研机构的数据显示,2022年至2026年高速互联IP的市场规模有望以75%的年复合增长率快速成长。“接口IP市场的增长一定是跟随整个高性能计算芯片大趋势的,包括芯片运算性能、内存和带宽方面的提升都需要接口IP的帮助,因此芯片用量的提升一定会带来更大的接口IP用量。”唐睿认为,“同时计算芯片性能的提升已经受限于摩尔定律放缓的影响,单芯片的性能会逐渐遇到瓶颈,那么互联组成算力集群就是一个有效的手段,这也会加快推动接口IP的发展。”

虽然产业热潮来临,不过唐睿并不担心一下子会涌入很多同行或者友商,造成国内接口IP产业内卷。“市场竞争的激烈程度会增加,但接口IP是高门槛的领域,目前国内做高速混合电路的人才其实并不多,特别是在先进制程上做高速模拟电路设计的人才更少,因此从零组建团队进入这个领域是非常困难的。”他对此讲到。

国产厂商的布局和追赶

从全球产业格局来看,在接口IP方面,目前新思科技和楷登电子等EDA厂商以及其他国际上的接口IP厂商还处于领先位置。相关数据显示,截止到2021年,国产接口IP的自给率还不足10%。

“目前,从技术上来看,国产接口IP厂商确实还处于追赶的位置,不过这种差距已经越来越小。”唐睿指出,“2023年,奎芯科技将会推出一系列性能达到国际领先水平的接口IP产品,包括HBM3以及其他领先的D2D类型的互联接口IP。”

同时,他还讲到,在服务国内客户方面,实际上也会存在很多本地化的需求,需要根据这些需求结合晶圆厂的工艺特色,提供IP解决方案。奎芯科技很多IP产品,在研发的过程中或者研发之前,就得到了客户方的问询,围绕客户的芯片架构,有非常清晰的需求。奎芯科技联合自己的下游客户成立了多个产业联盟,通过这些联盟将不同类型的计算芯片公司联合在一起,协同发展,围绕数据中心应用把国产方案搭建好,弥补国内这一块的空白。

当前,AI大模型训练所用到的算力集群基本上都是基于英伟达通用算力芯片来打造,在这方面国产通用算力芯片还存在一定的性能差距。唐睿表示,国产高性能计算芯片还是有机会的,AI大模型并不是一个近期出现的新鲜事物,近些年国内AI产业已经在跟进这一趋势,只是类ChatGPT类型应用背后的大模型参数规模更大。针对这方面的需求,国内芯片产业也早就启动了这方面的布局,包括奎芯科技所在的接口IP赛道,都在向这个方向努力。不过,从IP研发到芯片设计,再到应用落地,这中间会有一个时间差。实际上,国外的公司也是在用之前的芯片通过互联在做这方面的硬件支持。

“还需要特别提出的是,AIGC是一个软硬件结合的应用。软件方面,算法模型的体量也是一个值得研究去突破的方向。目前,国外开源的AIGC算法里,也并非只有Open AI的GPT算法,通过介绍信息来看,也有一些参数更小的模型能够实现类ChatGPT应用。我们实际上可以借鉴这些模型,以减少软件对硬件的需求压力。”唐睿最后讲到。

小结

IP对半导体产业有巨大的撬动力量,在全球范围内,约60多亿美元的IP销售额,带动的是5000亿美元的全球半导体市场销售额。对于***而言,短期内实现单芯片性能暴增的难度非常大,不过通过高速接口IP,用算力集群的方式,也能够逐步进入类ChatGPT的红利市场。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

原文标题:类ChatGPT训练需高性能芯片大规模并联,高速接口IP迎红利时代

文章出处:【微信号:elecfans,微信公众号:电子发烧友网】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【书籍评测活动NO.30】大规模语言模型:从理论到实践

    学习展开,详细介绍各阶段使用的算法、数据、难点及实践经验。 预训练阶段需要利用包含数千亿甚至数万亿单词的训练数据,并借助由数千块高性能GPU 和高速网络组成的超级计算机,花费数十天完成
    发表于 03-11 15:16

    Xilinx FPGA NVMe主机控制器IP高性能版本介绍应用

    独立的数据写入AXI4-Stream/FIFO接口和数据读取AXI4-Stream/FIFO接口,非常适合于超高容量和超高性能的应用。此外,NVMe Host Controller IP
    发表于 03-09 13:56

    晶晟微纳发布N800超大规模AI算力芯片测试探针卡

    近日,上海韬盛科技旗下的苏州晶晟微纳宣布推出其最新研发的N800超大规模AI算力芯片测试探针卡。这款高性能探针卡采用了前沿的嵌入式合金纳米堆叠技术,旨在满足当前超大规模AI算力
    的头像 发表于 03-04 13:59 303次阅读

    【国产FPGA+OMAPL138开发板体验】(原创)6.FPGA连接ChatGPT 4

    方面。而且,由于ChatGPT 4是一个大型的语言模型。通常,FPGA会用于处理一些底层的数据流或执行特定的硬件加速任务,而ChatGPT 4这样的模型则会在云端或高性能服务器上运行。不过
    发表于 02-14 21:58

    打破I/O 墙,还得靠高速接口IP和 Chiplet

    的算力决定了其性能上限,高性能产品也更容易收获来自 AI、HPC、汽车等领域客户的订单。   打造这样一个高性能SoC,尤其是面向数据中心和自动驾驶的高性能 SoC,
    的头像 发表于 12-29 00:46 1047次阅读
    打破I/O 墙,还得靠<b class='flag-5'>高速</b><b class='flag-5'>接口</b><b class='flag-5'>IP</b>和 Chiplet

    高速互联IP企业,晟联科完成超亿元B轮融资

    晟联科是以dsp为基础的高性能serdes ip及产品解决方案为主的高速网络ip企业。包括PAM4 56G/112Gbps SerDes、PCIe5.0/6.0、16G D2D、IO
    的头像 发表于 11-14 09:44 506次阅读

    NVIDIA Merlin 助力陌陌推荐业务实现高性能训练优化

    通过 Merlin 大幅提升大规模深度多目标精排模型训练性能 本案例中,NVIDIA 团队与陌陌推荐系统团队深度合作,共同使用 NVIDIA GPU 和 Merlin 软件解决方案替代其原有
    的头像 发表于 11-09 10:45 149次阅读
    NVIDIA Merlin 助力陌陌推荐业务实现<b class='flag-5'>高性能</b><b class='flag-5'>训练</b>优化

    基于超大规模架构的FPGA存储器IP

    电子发烧友网站提供《基于超大规模架构的FPGA存储器IP.pdf》资料免费下载
    发表于 09-13 17:31 0次下载
    基于超<b class='flag-5'>大规模</b>架构的FPGA存储器<b class='flag-5'>IP</b>

    如何在SAM时代下打造高效的高性能计算大模型训练平台

    在一起,从而显著提升模型的泛化能力。SAM 的设计初衷是简化图像分割的过程,减少对专业建模知识的依赖,并降低大规模训练所需的计算资源。
    的头像 发表于 08-21 04:02 1369次阅读
    如何在SAM<b class='flag-5'>时代</b>下打造高效的<b class='flag-5'>高性能</b>计算大模型<b class='flag-5'>训练</b>平台

    Gaudi Training系统介绍

    随着视频、语音识别、自然语言处理、推荐系统等中基于图像和手势识别的应用和服务的数量不断增加,对高性能人工智能训练计算的需求迅速增加,并在加速增长。随着需求的增加,需要更高的训练速度、吞吐量和容量
    发表于 08-04 06:48

    智能网卡简介及其在高性能计算中的作用

    最先进的人工智能模型在不到五年的时间内经历了超过 5,000 倍的规模扩展。这些 AI 模型严重依赖复杂的计算和大量内存来实现高性能深度神经网络 (DNN)。只有使用 CPU、GPU 或专用芯片
    发表于 07-28 10:10

    PyTorch教程11.9之使用Transformer进行大规模训练

    电子发烧友网站提供《PyTorch教程11.9之使用Transformer进行大规模训练.pdf》资料免费下载
    发表于 06-05 15:07 0次下载
    PyTorch教程11.9之使用Transformer进行<b class='flag-5'>大规模</b>预<b class='flag-5'>训练</b>

    芯片“新王”手创造的GPU制造龙头——英伟达

    chatgpt掀起一股新的ai大规模模型热潮时,提供基本计算能力的nvidia是最大的受惠者之一,而nvidia的gpu产品几乎没有能够替代大规模模型训练的东西。
    的头像 发表于 06-05 10:58 1168次阅读

    芯华章敏捷验证赋能Chiplet系统级大规模芯片设计

    日前,芯华章应邀参与国际电子媒体ASPENCORE举办的《高性能计算的AI设计挑战及解决方案》线上直播论坛,与车载智能芯片平台供应商芯砺智能一道,以汽车电子为例,围绕系统级大规模芯片
    的头像 发表于 05-25 15:05 628次阅读

    如何向大模型ChatGPT提出问题以获得优质回答:基于AIGC和深度学习的实践指南

    提示工程 | 高性能计算 | ChatGPT 深度学习 | GPU服务器 |Ibrahim John 在当今信息爆炸的时代,人们对于知识获取的需求日益增长。特别是在深度学习、高性能计算
    的头像 发表于 05-11 15:35 442次阅读
    如何向大模型<b class='flag-5'>ChatGPT</b>提出问题以获得优质回答:基于AIGC和深度学习的实践指南