0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英伟达DPU的最大优势,竟然是省钱?

丽台科技 来源:老石谈芯 作者:老石谈芯 2022-12-20 10:29 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2022年第三季度,英伟达营收达到59.31亿美元,其中数据中心业务贡献了38.3亿美元,同比增长31%,再度成为英伟达最强大的收入来源。

作为数据中心的「扛把子」芯片,DPU已经成为英伟达战略布局的重中之重。但除了高性能之外,DPU其实还抓住了现代数据中心的一个最大痛点:节能。

在各大科技公司纷纷「降本增效」的2022年,绿色与节能,比往年受到了更多人的关注。

数据中心的最大「杀手」

数字化经济时代,数据成为重要资源。就拿每天都在使用的手机为例,无论是浏览各种APP产生的交互,还是浏览图片、播放视频,抑或是微信端的聊天记录,本质上都是大量的数据。而这些数据的传输、处理、计算、存储,很大程度上都需要数据中心来完成。

现在,数据中心成为汇聚所有数据的核心。随着全球数据量的爆发性增长,数据中心的规模也在不断扩大。

之前的文章里我们就介绍过,性能早就不是衡量数据中心的唯一标准、甚至不是最重要的标准。建设一个现代化数据中心,它能提供的算力大小固然重要,但还有很多因素同样重要,首当其冲的就是:耗电。

全球能源的大部分电能消耗均来自大型数据中心。有调查显示,目前数据中心的耗电量占全球发电量的比例高于1%,而这一占比在美国为 1.8%、在欧洲为 2.7%。在 2015 年有报告数据就预计,到 2030 年,数据中心消耗的电量占全球发电量的比例将上升到 8%~13%。

0ca029d4-7ffa-11ed-8abf-dac502259ad0.png

2020年,中国数据中心年度用电总量已达至1380亿度,占我国全社会用电量的2%。高昂的电费已经成为数据中心运行成本的大头,约占60%~70%。

有点讽刺的是,全球经济与科技的发展,已经越来越追求绿色和低碳。但驱动这些技术发展的数据中心,却成为当今消耗电力和能源最多的场景之一。

问题就来了:如何解决数据中心的耗电难题?目前业界主要有两种方法。

首先,就是把数据中心搬到电费更便宜的地方。比如我国的贵州、内蒙等地,就建了不少数据中心,很重要的考虑就是利用当地更便宜的电费,拉低数据中心的运营成本。我国现在已经开始推进的「东数西算」工程,一个很重要的考虑也是把更多算力放在更便宜的地方,从而促进国家算力网更加平衡的发展。

但是不难看出,数据中心「搬家」,其实并没有从根本上解决数据中心的高能耗,只是降低了使用能源的成本。所以并不能作为唯一的解决方案。

第二,就是在数据中心的架构设计上做文章。常见的方法包括提高冷却效率、采用智能电源管理系统提高电源使用率、提高每台机器的负载利用率等等。这些方法在某种程度上触及到问题的本质,并且可以将数据中心的能耗降低不少。

不过随着数据中心的不断发展,新的问题又出现了。2012年,业界首次提出「数据中心税」的概念。它指的是数据中心里存在大量「基础设施」,也就是前面说的对数据进行传输、存储、计算的软硬件。对于用户来说,这些基础设施是不可见的,但用户仍然需要为它们付费。

就像在超市买个面包,它的标价其实包含了面包的成本、运输、储藏这一系列费用,甚至也包括超市的电费、房租等这些和面包没什么关系的费用分摊。

有研究显示,目前「数据中心税」已经达到30%。也就是说,用户花100元买数据中心服务,有30元其实都是花在了数据中心的基础设施成本上。

究其原因,就是传统的数据中心硬件不能满足日益增长的计算存储和传输需求了,造成了费力不讨好的尴尬局面。一方面花了大量资源去支撑基础设施、造成数据中心税;另一方面,这些投入的资源和算力却并不是为了基础设施的功能而设计的,导致运行效率非常低。这也从另一个角度解释了,为什么数据中心耗电量如此巨大的原因,就是没把好钢用在刀刃上。

因此,升级数据中心硬件、特别是芯片,让数据中心更加绿色高效,就成了国际学术界和工业界关心的重要课题。

DPU如何实现数据中心能效提升

顾名思义,DPU是一种面向数据的处理器。2020年,英伟达在GTC 秋季大会上宣布推出BlueField-2 DPU,它集成了大量特定领域专用加速器,专门用来执行执行网络、存储和安全等基础设施任务的处理。同时,在DPU芯片上拥有比x86 CPU更节能的Arm CPU核心,主要负责控制类的应用,比如卸载基础设施应用的控制平面、服务器虚拟化平台或容器管理软件的部分功能。

DPU出现的意义,就是为了进一步提升数据中心的效率、解决「数据中心税」的难题。具体来说,英伟达将DPU的主要任务总结成了三点:卸载、加速、隔离。

一、卸载,就是将原本在通用CPU上运行的应用,转移到DPU上来完成,从而实现对CPU的「卸载」,相当于给CPU减了负。比如在数据中心里常见的网络协议栈的处理,通常都是由CPU上运行的软件来实现的。相比之下,从智能网卡发展而来的DPU可以非常直接地连接网络,也有更强的网络处理能力。

比如英伟达的BlueField-2 DPU,就能支持200Gbps网络的线速处理,并且能实现OvS等数据中心常见应用。这样就释放了宝贵的CPU内核资源给用户,而不是用来交「数据中心税」,从而极大提升了数据中心的资源使用率。

0cbdd10a-7ffa-11ed-8abf-dac502259ad0.png

二、加速,就是利用专门的硬件,把卸载下来的应用做的更快、性能更高。说白了,就是不仅把活接下来,还干的比原来还好。

比如,将OvS卸载到BlueField DPU后,服务器的网络吞吐量从19.8Gbps增至49.3Gbps。不仅在加速网络吞吐量两倍多,还释放了原本用于运行OvS的18个虚拟CPU核心。

从能耗角度来看,一方面可以用耗电更低的DPU芯片实现更高的性能、用更少的服务器完成同样的工作;另一方面还提高了CPU的利用率,二者结合,自然将服务器的能耗大幅降下来了。根据英伟达测试的数据,采用DPU之后,每台服务器至少可节省300-400瓦的耗电量。

除了OvS,在运行数据中心基础设施的其他任务时,DPU也有专门的硬件引擎来用于加速网络、数据加密/解密、密钥管理、存储虚拟化和其他任务。DPU 上的CPU核心通常比一般服务器CPU更节能,并且可以直接访问网络管线。

因此,即使一些网络任务无法通过DPU的专用引擎来加速,DPU核心也能比服务器CPU更高效地执行SDN、遥测、深度数据包检查或其他网络任务。

有了DPU,承载网络侧专用性的网络堆栈算法和传输协议运算转移,数据中心可以更高效地应对多元化的算力需求,释放CPU和GPU的算力资源,让数据中心的性能得到进一步优化。

三、隔离,就是利用DPU的专用硬件,实现数据中心关键的安全功能。比如,数据中心常见的加密协议IPsec通常需要CPU或者专用的加密加速器卡来完成。而BlueField DPU就集成了对IPsec的硬件支持,让关键的加解密过程不经过CPU,避免多用户共享CPU和内存时发生数据窃取和攻击;也不需要额外的专用加密卡,进一步节省成本。

0cdb4690-7ffa-11ed-8abf-dac502259ad0.png

和CPU相比,采用DPU卸载IPsec之后,每台服务器耗电量降低21%,可节电高达140瓦;客户端也可节省能耗,最高耗电降低34%,节电高达247瓦。对于大型数据中心而言,这相当于在三年间节省了近 900 万美元的电费。

0cffd2a8-7ffa-11ed-8abf-dac502259ad0.png

除了上面介绍的三个硬件特点之外,BlueField DPU还提供了DOCA软件编程框架,它主要分成三个主要模块,分别是DOCA服务、库和驱动。此外,DOCA还将实例代码、文档、以及预打包容器都集成在一起,可以让用户直接对DPU进行编程。

有了这些框架和方法实例,软件开发者就不需要管底层的硬件细节,更不需要再花时间去学习硬件相关的知识和编程方法,而可以专注于自己业务本身的开发。

通过采用并部署DPU,可以减少服务器的部署数量、并降低每台服务器的耗电量。根据《NVIDIA BlueField DPU能效白皮书》中的数据,拥有1 万台服务器的大型数据中心三年期间可大幅节省 2600 万美元。通过使用 DPU,服务器可节省 6.3%的资本性支出,由于较低的电力成本,运营性支出又节省了 46%。

此外,降低服务器耗电量还可以节省数据中心的附加成本,如配电和冷却等。每瓦进入数据中心的电力都需要电源管理硬件。比如,不间断电源、发电机(加上燃料输送和存储)和配电装置,消耗的每一瓦电力都会转变成必须从数据中心排放出来的热量。从下图中可以看到,高达 40% 的数据中心耗电量还专门用于冷却。因此,服务器端节省的每一瓦电力都会减少数据中心冷却装置所需的电量,以及供电和散热所需的资产设备数量。

0d209196-7ffa-11ed-8abf-dac502259ad0.png

结语

当下,全球DPU市场已经迎来爆发式增长。据赛迪顾问预计,中国DPU产业市场规模将在2025年超过565.9亿元,复合增速达到 51.73%,而全球DPU产业市场规模更加庞大,将超过245.3亿美元,复合增速高达至170.60%。

除了高性能和安全性的考虑,低功耗也逐渐成为DPU新的核心需求。通过DPU实现数据中心的绿色发展,已经逐渐成为提高数据中心效率、降低能耗的大势所趋。

想了解更多DPU在数据中心里的能耗优势,扫描二维码获取 NVIDIA BlueField DPU 能效白皮书。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据中心
    +关注

    关注

    18

    文章

    5767

    浏览量

    75202
  • DPU
    DPU
    +关注

    关注

    0

    文章

    417

    浏览量

    27147
  • 英伟达
    +关注

    关注

    23

    文章

    4115

    浏览量

    99614

原文标题:英伟达DPU的最大优势,竟然是省钱?

文章出处:【微信号:Leadtek,微信公众号:丽台科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    套现413亿!软银清仓英伟,AI硬件泡沫破裂?

    )。   这也并非软银首次减持英伟,从2017年以40亿美元购买英伟近5%股份,成为其最大股东之一,不过随后分批卖出了
    的头像 发表于 11-13 09:19 6204次阅读

    施耐德电气与英伟深化合作以构建高效吉瓦级AI工厂

    施耐德电气携手英伟联合发布全新Vera Rubin参考设计,为英伟最新机架级系统提供经过验证的供配电与冷却方案。
    的头像 发表于 03-20 13:52 457次阅读

    新思科技与英伟多项硬核科技成果亮相GTC 2026

    新思科技(Synopsys, Inc.,纳斯达克股票代码:SNPS)在英伟 GTC 2026 大会(NVIDIA GTC 2026)上,展示了其与英伟战略合作的最新成果,携手重塑千
    的头像 发表于 03-18 17:36 1004次阅读

    英伟微通道液冷板技术全解析:原理、工艺、优势与产业适配

    随着AI算力的爆发式增长,英伟Rubin架构GPU等高端芯片的单芯片功耗已逼近2.2kW(2026年最新实测数据),局部热点热流密度最高可达650W/cm²,传统风冷彻底退场,单相液冷也逐渐捉襟见肘。微通道液冷板作为英伟
    的头像 发表于 02-14 08:19 1881次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>微通道液冷板技术全解析:原理、工艺、<b class='flag-5'>优势</b>与产业适配

    麦格纳宣布扩大与英伟的战略合作

    麦格纳宣布扩大与英伟的战略合作,为整车厂基于英伟DRIVE Hyperion平台的项目落地提供支持。
    的头像 发表于 01-09 12:59 511次阅读

    英伟重磅出手!AI 推理存储全面觉醒

    电子发烧友网报道(文/黄晶晶)近日,有消息称,英伟将以大约200亿美元收购人工智能芯片初创公司Groq,这将是英伟迄今为止规模最大的一笔
    的头像 发表于 12-26 08:44 1.2w次阅读
    <b class='flag-5'>英伟</b><b class='flag-5'>达</b>重磅出手!AI 推理存储全面觉醒

    黄仁勋:英伟AI芯片订单排到2026年 英伟上季营收加速增长62%再超预期

    AI芯片总龙头英伟的财报终于带来了惊喜;英伟公司发布财报数据显示,上季营收加速增长62%;再超华尔街预期。业界都比较振奋,英伟
    的头像 发表于 11-20 11:36 1458次阅读

    NVIDIA新闻:英伟10亿美元入股诺基亚 英伟推出全新量子设备

    给大家分享一些NVIDIA新闻: 英伟10亿美元入股诺基亚 在当地时间10月28日,英伟正式宣布将以10亿美元入股诺基亚;据悉英伟
    的头像 发表于 10-29 17:12 2405次阅读

    富士通与英伟扩大战略合作

    富士通近日宣布,将与英伟(NVIDIA)扩大战略合作,共同打造集成AI Agent的全栈式AI基础设施。此举旨在利用AI能力增强企业竞争优势,同时确保企业在AI应用上的自主性与灵活性。
    的头像 发表于 10-23 17:49 1047次阅读

    中国最大传感器公司,进入英伟供应链!

    的成像解决方案为下一代智能驾驶汽车提供动力。” 以传感器业务营收计,豪威集团亦是中国本土最大的传感器公司。 资料显示,英伟的DRIVE AGX Thor是面向自动驾驶、智能座舱的核心计算平台,提供强大的AI算力和软件生态,帮助
    的头像 发表于 09-17 18:43 1329次阅读
    中国<b class='flag-5'>最大</b>传感器公司,进入<b class='flag-5'>英伟</b><b class='flag-5'>达</b>供应链!

    英伟自研HBM基础裸片

    电子发烧友网综合报道,据台媒消息,传闻英伟已开始开发自己的HBM基础裸片,预计英伟的自研HBM基础裸片采用3nm工艺制造,计划在2027年下半年进行小批量试产。并且这一时间点大致对
    的头像 发表于 08-21 08:16 3025次阅读

    国家网信办约谈英伟

    近日,英伟算力芯片被曝出存在严重安全问题。此前,美议员呼吁要求美出口的先进芯片必须配备“追踪定位”功能。美人工智能领域专家透露,英伟算力芯片“追踪定位”“远程关闭”技术已成熟。为维
    的头像 发表于 07-31 13:56 2833次阅读
    国家网信办约谈<b class='flag-5'>英伟</b><b class='flag-5'>达</b>

    施耐德电气与英伟深化合作

    近日,施耐德电气宣布与英伟深化合作,旨在满足市场对可持续、AI就绪基础设施日益增长的需求。
    的头像 发表于 06-24 15:02 1511次阅读

    SiC MOSFET模块在英伟800V HVDC电源系统中的技术优势与应用价值

    基本半导体BMF240R12E2G3 SiC MOSFET模块在英伟800V HVDC电源系统中的技术优势与应用价值 随着AI数据中心对算力需求的爆发式增长,传统UPS供电方案因效率低、损耗
    的头像 发表于 05-23 06:50 1568次阅读
    SiC MOSFET模块在<b class='flag-5'>英伟</b><b class='flag-5'>达</b>800V HVDC电源系统中的技术<b class='flag-5'>优势</b>与应用价值