0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从SmartNIC走向DPU,专用加速器的崛起

E4Life 来源:电子发烧友网 作者:周凯扬 2022-06-25 01:17 次阅读
在计算架构和负载变得愈发复杂和多样的情况下,处理器厂商纷纷开始了自己的造词之路。要想体现产品定位,又要让大家对其缩写印象深刻,所以PU成了最常见的后缀。现在的处理器家族中已经有了不少成员,除了常见的CPUGPU、APU之外,按照处理对象的不同,在人工智能深度学习的崛起下,NPU和TPU也纷纷出现。
DPU模糊的定义
不过这些已经定义明确的处理单元并不是我们今天的主角,而是找到了全新定义的xPU。什么是xPU,其实很难定义,这其中有DPU(数据处理单元)、IPU(基础设施处理单元)和FAC(功能加速卡),这些刚冒头的产品就是xPU,它们代表了从SmartNIC演化过来并超越其定位的新时代加速器硬件。除了SmartNIC以外,这些xPU虽然命名不同,但其实很多时候,它们是完全重合的,现在为了方便,很多时候也以DPU统称。
BlueField-3 DPU / 英伟达
这样说DPU的定义还是很模糊,我们就从其特点来看。SmartNIC往往需要主CPU来完成管理工作,DPU虽然往往也属于一个主系统中的部件,但却可以做到完全独立,可以部署到边缘、JBOF存储和网关上,并为它们提供网络接口和虚拟功能。它的另一项职责就是帮CPU减轻负担,节省服务器上有限的处理器核心。
因此,尽管DPU看起来和一些PCIe智能网卡或GPU差不多,但它本质上就是一个为数据流和数据包处理提供加速、卸载和本地服务的微型服务器,在服务器中提供一个独立单元的同时,又不乏协助其他单元的处理能力。
什么样的任务需要DPU?
至于为什么要用到DPU,这就不得不谈到日益增加的数据密集型任务了,短视频、实时金融交易的兴起,高带宽的数据流要求数据中心网络、存储、安全和AI/ML进行高效的处理。比如谷歌在数年前就提到,在他们的数据中心里,有三分之一的任务都是数据密集型的,这些都是交由底层基础设施完成的,而且这类任务的占比是在逐步增加的。因为CPU和GPU这样的通用计算单元并不擅长,所以专门针对这类任务优化的DPU就得出来担此大任了。其次就是企业数据中心和公共数据中心也想获得超大规模巨头厂商那样的效率,做到这一点就必须解聚那些昂贵的硬件资源,比如SSD、GPU等,DPU为数据中心的解聚提供了极高的效率,优化了拥有成本、占用面积和安全性。
DPU可以完成各个方面的卸载与加速,尤其是在网络、安全和存储这三大块。在网络端,DPU可以有效实现虚拟路由器,辅助数据包交换、定义交换规则等工作,减少延迟的同时还能够提高吞吐量;在安全上,DPU可以用于下一代防火墙(NGFW)的加速,完成数据包过滤、内容检测和报头检测与重写,将性能提高数倍以上;在存储上,DPU可以卸载高速NVMe/TCP,进一步提升存储性能。最关键的是,这三者都能有效地接管CPU控制面的负载,节省CPU本身的计算核心。

基于DPU的服务器存储方案 / Fungible
以上是DPU为服务器提供的加强,主要以PCIe加速卡的形式来提供,此外,还有单独的DPU存储产品。传统的CPU存储方案中,整个系统由DRAM、x86 CPU、SmartNIC、加速器和PCIe接口组成,而在未来的存储方案,比如高性能存储、计算型存储和软件定义网络应用的存储中,单片集成的方案更能满足要求,这就是与DRAM结合的DPU存储产品。这种方案不仅可以提升IOPS,也能进一步降低能耗。
正因如此,数据中心会用DPU来完成数据密集型任务,从而减少功耗、拥有成本和占用空间。此外,他们也会用到基于DPU的存储、GPU/TPU资源池和主机卡,来高效地完成高成本硬件资源的解聚。
DPU市场混战
在不少厂商对DPU的宣传中,往往都会提到这将是除了CPU和GPU之外的第三大硬件。大家可能觉得类似的承诺,好像一些AI处理器也有提到,但市面上还是GPU占据主导地位,DPU又会有何不同呢?事实证明,市场对DPU的信心很足,这我们从入局DPU的厂商就能看出。
云霄DPU / 云豹智能
如今制造DPU的企业分为三种,一是初创公司,比如:云豹智能、星云智联、中科驭数、云脉芯联、芯启源、大禹智芯、Fungible等;二是市面上一些已有的服务器巨头,比如AMD/Xilinx、英特尔、Marvel、英伟达;三是CSP(云服务供应商)厂商,比如亚马逊AWS、微软Azure、阿里云等等。后者更多是负责设计或者联合设计这些xPU,好专用于自己的云服务器。最终售卖这些DPU的除了DPU厂商外,还有基础设施的OEM和ODM,增值分销商和集成方案厂商,CSP厂商在售卖服务器的时候,自然也会以间接的方式来体现DPU的价值。
随着Mellanox被英伟达收购,Pensando被AMD收购,而Fungible的DPU主要针对存储加速和卸载,虽然没有被收购,但也收获了软银的主导的融资。国内的DPU厂商同样备受青睐,比如腾讯屡次投资的云豹智能,字节跳动投资的云脉芯联,美团和百度投资的星云智联等,这些投资方要么是CSP,要么拥有超大规模的数据中心,他们不像其他CSP大厂,硬件设计能力缺乏或有限,却也看到了DPU的前景。
DPU并不完美
即便大厂看好,但从现状来看,部署DPU对某些中小企业来说依然是双刃剑。固然,DPU可以卸载基础设施的任务,减轻其负担,让服务器的CPU空出来专注在应用本身,更高的效率、更低的拥有成本和更高的安全性也都随之而来,这些优点是几乎每个服务器都能享受到的。
但在部分服务器中,引入DPU不免增加了服务器的资本投入,而且相较于CPU、GPU这类硬件来说,它只能卸载和加速特定的负载,并不是一个通用加速单元。此外,部分服务器在增加DPU的情况下还是会导致功耗提升,在服务器、数据中心纷纷开始节能减排的当下,如何权衡各个组件的功耗无疑会是一个大问题。还有就是相关的开发,DPU的灵活性体现在可编程上,但这需要进行一定的编程能力,加上目前每家厂商都在单干,也没有一个标准的接口,所以在适配上绝对不轻松,这也是不少DPU选择Arm作为核心架构的原因,就是为了减少其编程的难度。
也正是因为以上这些理由,从市场渗透率上来看,DPU主要是还是大规模的CSP厂商用的更多一点,加上托管应用的增加,这一块未来也会驱动DPU产品的销售。对于自研DPU的CSP来说,他们肯定会继续加大这方面的投入,进一步降低成本,而对于第三方厂商来说,英伟达、AMD和英特尔这些服务器CPU、GPU厂商无疑会更有优势,因为他们提供竞争力更强的集成方案。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 服务器
    +关注

    关注

    12

    文章

    8099

    浏览量

    82483
  • DPU
    DPU
    +关注

    关注

    0

    文章

    293

    浏览量

    23965
  • 英伟达
    +关注

    关注

    22

    文章

    3316

    浏览量

    87713
收藏 人收藏

    评论

    相关推荐

    《数据处理DPU编程入门》DPU计算入门书籍测评

    ,国内国外两股部队都在朝着超大规模计算部署。而专用处理器在大规模处理上带来的经济和效率优势是通用计算不可比拟的。DPU在云计算中高性能,高功耗的特点将会完美符合机房设备的特征。也称为需求的核心。作为未来算力基座的一份子,势必成为高端工程师的必备技能。
    发表于 12-24 10:54

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一种重要的实验设备,用于研究粒子物理学、核物理学等领域。其主要原理是通过电场和磁场的作用,对带电粒子进行加速,在高速运动过程中使其获得较大的动
    的头像 发表于 12-18 13:52 870次阅读

    在CCES环境下如何使用21489的IIR加速器

    在VDSP++的环境下程序已经实现,但是到了CCES下,把中断初始化函数修改了,还是无法正确配置中断,直接返回IIR的中断初始化失败,请问CCES下怎么使用IIR加速器
    发表于 11-30 08:20

    21489的IIR加速器滤波参数设置如何对应加速器的滤波参数?

    目前在用21489内部的IIR加速器去做一个低通滤波,在例程的基础上修改参数。通过平板的fda 工具工具去设计参数,但是设计出来的参数不知道如何对应加速器的滤波参数,手册里也看得不是很明白。 设计的参数如下: 请问
    发表于 11-30 08:11

    使用ADSP-21489的fir加速器时,存在很大的噪音如何解决?

    您好!当我使用ADSP-21489的fir加速器时,存在很大的噪音,未知如何解决,希望这里有高人帮我解决。 附件上有工程,该工程参考iir加速器使用例子编写。
    发表于 11-30 07:49

    什么是DPU

    DPU则进行数据处理。” 什么是DPU? 数据处理 基于行业标准,高性能及软件可编程的多核CPU 高性能网络接口 灵活、可编程的加速引擎 DPU
    发表于 11-03 10:55

    【书籍评测活动NO.23】数据处理DPU编程入门

    资格! “DPU将是未来计算的三大支柱之一。CPU用于通用计算,GPU用于加速计算,而DPU在数据中心移动数据,进行数据处理。” ——NVIDIA 创始人兼首席执行官黄仁勋于 GTC 2020
    发表于 10-24 15:21

    使用赛灵思Alveo加速器加速DNN

    电子发烧友网站提供《使用赛灵思Alveo加速器加速DNN.pdf》资料免费下载
    发表于 09-18 09:27 0次下载
    使用赛灵思Alveo<b class='flag-5'>加速器</b>卡<b class='flag-5'>加速</b>DNN

    《 AI加速器架构设计与实现》+第2章的阅读概括

    名字上就能看出来书里可能覆盖的内容是和CNN加速器有关的内容了。 作者在前言里说这本书主要讨论Inference(推理)的过程,“主要讨论神经网络硬件,尤其是芯片设计层面的内容”。这本书的第2,3章
    发表于 09-17 16:39

    Rapanda流加速器-实时流式FPGA加速器解决方案

    电子发烧友网站提供《Rapanda流加速器-实时流式FPGA加速器解决方案.pdf》资料免费下载
    发表于 09-13 10:17 0次下载
    Rapanda流<b class='flag-5'>加速器</b>-实时流式FPGA<b class='flag-5'>加速器</b>解决方案

    华秋硬创联合安创加速器加速和创新赋能技术驱动型创业者

    167亿,获2轮及以上融资的企业占比达54%。 02****生态伙伴介绍:安创加速器 **安创加速器作为Arm全球唯一加速器,依托于Arm全球庞大的生态系统资源及行业领先的技术,**通过创业
    发表于 08-18 14:37

    Intel媒体加速器参考软件用户指南

    英特尔媒体加速器参考软件是用于数字标志、交互式白板(IWBs)和亭位使用模型的参考媒体播放应用软件,它利用固定功能硬件加速来提高媒体流速、改进工作量平衡和资源利用,以及定制的图形处理股(GPU)管道解决方案。该用户指南将介绍和
    发表于 08-04 07:07

    英特尔媒体加速器参考软件发行说明

    使用 Linux* 版本的这些发布注释来审查 Intel 媒体加速器参考软件的最新修改和改进。 您将会发现PDF 中的最新功能、 最著名的配置、 硬件和软件兼容性以及已知问题 。
    发表于 08-04 06:57

    英特尔媒体加速器参考软件Linux版用户指南

    英特尔媒体加速器参考软件是用于数字标志、交互式白板(IWBs)和亭位使用模型的参考媒体播放应用软件,它利用固定功能硬件加速来提高媒体流速、改进工作量平衡和资源利用,以及定制的图形处理股(GPU)管道解决方案。该用户指南将介绍和
    发表于 08-04 06:34

    【书籍评测活动NO.18】 AI加速器架构设计与实现

    经验总结图解NPU算法、架构与实现,零设计产品级加速器当前,ChatGPT和自动驾驶等技术正在为人类社会带来巨大的生产力变革,其中基于深度学习和增强学习的AI计算扮演着至关重要的角色。新的计算范式需要
    发表于 07-28 10:50