0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用 VMware vSphere 8 和 NVIDIA BlueField DPU 加速 Redis 性能

NVIDIA英伟达 来源:未知 2023-05-18 00:35 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着网络速度的提高,向现代分布式工作负载的转变增加了基础设施服务的开销,从而减少了为业务提供动力的应用程序可用的 CPU 资源。通过部署 DPU(数据处理器)来卸载和加速这些基础设施服务,可以提供更高的性能、更低的 CPU 利用率和更高的能效。

许多现代工作负载都是分布式的,这意味着它们不再只适用于一台服务器。相反,它们在多台服务器上同时运行,以实现更高的可扩展性和可用性。此类工作负载包括 Web 和电子商务应用程序,如 NoSQL 数据库、分析、人工智能和键值存储,如 Redis。

许多公司都在 vSphere Enterprise Workload Platform(企业工作负载平台)上运行这些分布式工作负载。随着应用程序的不同部分在虚拟机(VM)和主机之间进行通信,vSphere 必须将越来越多的 CPU 资源用于管理数据移动和基础架构工作负载,如网络。

在 CPU 以外的 DPU 上运行网络和安全基础设施服务,可释放 CPU 核心用于业务应用程序,并显著减少 CPU 缓存污染和上下文切换等问题,从而打造一个高效的系统。

vSphere 软件

基于 DPU 的 vSphere(以前称为 Project Monterey)已随 vSphere 8 一同发布。它与 NVIDIA BlueField DPU 一起,使应用程序工作负载流量能够通过虚拟机监控程序(Hypervisor)实现网络快速路径。在直通模式下运行 BlueField DPU 可以将网络处理卸载并隔离到 DPU。这将显著提高应用程序的性能。

533bd798-f4cc-11ed-90ce-dac502259ad0.png

图 1:vSphere 分布式服务引擎(Distributed Services Engine)架构

为了测试这一理论,NVIDIA 和 VMware 联合展示了在 DPU 上运行的 vSphere 8 是如何提高可扩展性、效率和性能的。

Redis 键值存储数据库

由于 Redis 作为多模型 NoSQL 数据库服务器和缓存引擎而广受欢迎,两家公司的工程专家选择在 NVIDIA 实验室中使用 BlueField DPU 在 vSphere 8 上测试 Redis。

Redis 是 Remote Dictionary Server(远程字典服务器)的缩写,是一种快速、开源、内存中的键值数据存储。Redis 超越了其他 NoSQL 数据库,可提供现代应用程序所需的高级功能,包括内置复制的各种数据结构,通过 Redis Sentinel 提供高可用性的能力,以及使用 Redis 集群(Cluster)进行自动分区。

测试的指标包括以下内容:

  • 每秒处理事务量(TPS)

  • 平均应用程序延迟

  • 网络吞吐量

  • 用于网络的服务器 CPU 利用率

  • 能效

Redis 基准测试

测试包括运行多个工作负载,网络设置使用 Geneve 叠加网络(Overlay Networking)以及 VMware NSX 和 NSX 分布式防火墙。测试比较了三种网络选项:

  • 增强型数据路径(Enhanced datapath- EDP)标准,具有常规网卡,而无 DPU 卸载

  • 具有部分 DPU 卸载的 EDP 标准(默认模式)

  • EDP 标准,具有完全 DPU 卸载和加速

536349b8-f4cc-11ed-90ce-dac502259ad0.png

图 2:在 vSphere 上测试 Redis 的服务器和网络设置

DPU 卸载并隔离网络处理,通过使用 DPU 上的加速器和缓存实现网络处理。这可以释放主机上的缓存以用于应用程序逻辑,从而在吞吐量和延迟方面显著提升了应用程序性能。有两种使用 DPU 的方法:

  • 加速模式(Accelerated mode):在不丢失 vSphere 所支持的工作负载移动服务的情况下,通过实现类似 SR-IOV 的高网络性能来获得最佳结果。

  • 默认模式(Default mode):为网络处理提供基于 DPU 的卸载和加速,但也会在主机上产生一些 CPU 开销。它不会释放如 UPTv2 模式那么多的核心。

基准测试结果

针对白皮书进行的测试在 NSX 上使用了网络加速,并使用了四层分布式防火墙的重叠网络。在 80 个 Redis 实例中使用完全 DPU 加速(具有 UPTv2 的 EDP 标准)实现了近 2000 万的 TPS。

在默认 DPU 卸载模式下,我们也实现了其中的很大一部分(1774 万 TPS)。使用标准的 ConnectX-5 网卡,在没有任何 DPU 卸载或加速的情况下,我们在仅运行 30 个 Redis 实例的情况下达到了 1275 万 TPS 左右的峰值。

5380597c-f4cc-11ed-90ce-dac502259ad0.png

图 3:DPU 卸载并加速以提高 TPS

我们还观察到,与使用普通网卡相比,使用 DPU 卸载和 DPU 完全加速时,应用程序延迟显著降低。与使用普通网卡相比,使用 DPU 卸载和加速 VMware ESXi 网络可实现更低的延迟。随着 Redis 实例数量的增加,DPU 的延迟优势更加显著。

539c33ae-f4cc-11ed-90ce-dac502259ad0.png

图 4:与使用普通网卡相比,将 DPU 与 VMware ESXi 结合使用可降低延迟

在吞吐量和带宽方面,我们发现使用 DPU 卸载时,吞吐量高于标准网卡。DPU 完全加速显示了最高吞吐量。由于 CPU 核心无法再处理任何额外的网络任务,标准网卡的吞吐量稳定在 30 个实例。随着 Redis 实例数量的增加,DPU 卸载和完全加速模式继续提高吞吐量。

DPU 的功耗对于 10 至 30 个实例略低,对于 40 至 80 个实例略高。然而,服务器使用 DPU 完成了相当多的工作,从而提高了能效。

使用 DPU 卸载仍然会消耗一些 x86 处理周期,但消耗得要小得多,因为部分网络处理已从 CPU 转移到了 DPU。这样可以大幅提高能效。当使用重叠网络和 EDP 标准时,与普通网卡相比,完全 DPU 加速在每百万 TPS 使用的功耗减少了 6% - 40% 。

通过减少 ESXi 网络所需的 CPU 核心数量,DPU 可以释放这些核心以运行更多的虚拟机和应用程序。这使得更多的工作负载可以在相同数量的服务器上运行。您还可以使用更少的服务器来支持相同工作负载,而这些工作负载以前是在没有 DPU 卸载的情况下运行的。

价值主张

基准测试结果表明,与未启用 DPU 的主机相比,启用 BlueField DPU 的主机可以实现更好的事务延迟,同时使用的 CPU 核心数量也减少了 20% 。启用 DPU 的主机将吞吐量提高了 30% 以上,事务延迟减少了 25% 以上。

DPU 完全加速还提高了能效,使每次事务的功耗减少了 35%,每瓦特的性能提高了 50%。该基准测试证明,在 BlueField DPU 上运行 vSphere 分布式服务引擎可以使数据中心将 Redis 服务器的数量减少 14 - 18%。

最大限度地提高投资回报率

由于在 DPU 加速(UPTv2)模式下保存了 CPU 核心,而在 DPU 卸载(默认)模式下保存了较少的 CPU 核心,因此您可以减少 4 - 15 个 CPU 核心来支持相同的 Redis 工作负载。假设每个 ESX 主机的工作负载为 30 – 80 个 Redis 实例,这能够将服务器数量减少 14 – 18%。购买更少的服务器和支付更少的数据中心基础设施可以节省资本性支出。此外,还可节省了运营性支出,因为服务器数量的减少会消耗更少的电力,以及相关的配电和冷却电力也会减少。

对于最初需要 1 万台服务器的基于 vSphere 的 Redis 部署,一个简单的 TCO 分析可以看出,如果 BlueField DPU 完全加速模式将所需的服务器数量减少 14 - 18% ,则将在 3 年内节省 830 万至 1060 万美元。其中大约一半来自于节省的资本性支出(减少服务器),一半来自于节省运营性支出(减少电力消耗以及相关的冷却和配电成本降低)。

如果您仅部署少量 ESX 主机,Redis 服务器仍然可以从提高的应用程序性能中获益。随着应用程序需求的增长,加速的服务器可能会推迟购买或升级服务器,从而避免未来的成本。

这些特定的结果和成本节省仅适用于使用 25G DPU 的情况,因为我们受到在此处测试的最大规模下加速模式下 DPU 的线速限制。

使用 VMware VSphere 8 和

NVIDIA BlueField DPU 加速 Redis 性能

Accelerating Redis performance using VMware vSphere 8 and NVIDIA BlueField DPU(使用 VMware vSphere 8 和 NVIDIA BlueField DPU 加速 Redis 性能)白皮书记录了测试和结果。该白皮书揭示了如何使用 vSphere 与 BlueField DPU 的硬件加速网络卸载来显著提高应用程序性能,提供更高的吞吐量,并实现更快的响应时间。

它还展示了卸载到 DPU 如何释放服务器 CPU 核心来运行应用程序并提高运营效率。DPU 卸载和加速还降低了每个应用程序事务的耗电量,从而提高数据中心的效率,并通过降低耗电量显著节省成本。

53cee5b0-f4cc-11ed-90ce-dac502259ad0.png

图 5:提高主机服务器的能效

通过 NVIDIA LaunchPad

在 BlueField DPU 上体验 VMware

为了体验 BlueField DPU 的优势,NVIDIA 提供了 LaunchPad,这是一个非常适合展示优势的演示区。您可以申请测试在 vSphere 和 BlueField 上运行的各种应用程序和库,而无需在数据中心购买和部署硬件。

LaunchPad 包括多个精心策划的实验,可以引导您完成在多个用例中运行的部署和性能基准测试,包括使用 BlueField DPU 的 vSphere 上的 Redis。

本实验将指导您逐步完成在 vSphere 8 环境中安装、配置和部署 Redis 的过程。您可以通过本实验比较有 BlueField DPU 加速和没有 BlueField DPU 加速的 Redis 测试,以验证性能提升。

LaunchPad 为开发者、设计师和 IT 专业人员提供了快速访问所需硬件和工具的机会,以熟悉新技术并确定他们如何从 DPU 加速中受益。企业团队可以使用 LaunchPad 加速创建和部署现代数据密集型应用程序。在 LaunchPad 上进行快速测试和原型设计后,可以为其生产工作流部署相同的完整堆栈。

总结

DPU 已经广泛部署在超大规模数据中心中,以处理基础设施功能,并为创收工作负载释放 CPU 资源。每个安装了 vSphere 分布式服务引擎和 BlueField DPU 的节点都可以使用 DPU 卸载来提高性能。它为企业提供了一个有效的解决方案,以解决新工作负载给服务器带来的压力。


NVIDIA 与 VMware 及 NVIDIA LaunchPad 实验室的测试结果显示,在 VMware 服务器中添加 DPU 可以降低 TCO,同时改善整体工作负载处理。将基础设施进程卸载到 DPU,可在 CPU 和基础设施之间增加隔离,从而提高整体安全性。

观看下方视频

了解更多关于 NVIDIA BlueField DPU 的信息!

扫描下方二维码,或点击 “阅读原文” 尝试LaunchPad测试在 vSphere 和 BlueField 上运行的各种应用程序和库。

53ef6678-f4cc-11ed-90ce-dac502259ad0.png

540129b2-f4cc-11ed-90ce-dac502259ad0.gif  

NVIDIA BlueField DPU 往期内容 借助 NVIDIA DPU 和 NVIDIA DOCA 为人工智能时代的数据中心带来变革
GTC23 | Oracle 云基础设施 (OCI) 选择 NVIDIA BlueField 数据中心加速平台
NVIDIA 人工智能开讲 | BlueField DPU 如何帮助企业提升数据中心能效
白皮书发布 | 看 NVIDIA BlueField DPU 如何让数据中心变得更加环保


原文标题:使用 VMware vSphere 8 和 NVIDIA BlueField DPU 加速 Redis 性能

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    23

    文章

    4040

    浏览量

    97669

原文标题:使用 VMware vSphere 8 和 NVIDIA BlueField DPU 加速 Redis 性能

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA在ISC 2025分享最新超级计算进展

    NVIDIA DGX Spark 到 NVIDIA BlueField-4 DPU,新一代网络和量子技术实现了飞跃。在 SC25 上展示的加速
    的头像 发表于 11-25 10:59 484次阅读
    <b class='flag-5'>NVIDIA</b>在ISC 2025分享最新超级计算进展

    NVIDIA推出全新BlueField-4 DPU

    全新 NVIDIA BlueField DPU 具有 800Gb/s 的吞吐量,其集成的 NVIDIA ConnectX-9 SuperNIC 和
    的头像 发表于 11-03 14:48 592次阅读

    基于NVIDIA BlueField DPU的5G UPF数据面加速方案

    在第三届 NVIDIA DPU 黑客松竞赛中,我们见证了开发者与 NVIDIA 网络技术的深度碰撞。在 23 支参赛队伍中,有 5 支队伍脱颖而出,展现了在 AI 网络、存储和安全等领域的创新突破。
    的头像 发表于 09-04 11:26 879次阅读

    NVIDIA助力Axio团队打造全新DPU数据面开发框架

    在第三届 NVIDIA DPU 黑客松竞赛中,我们见证了开发者与 NVIDIA 网络技术的深度碰撞。在 23 支参赛队伍中,有 5 支队伍脱颖而出,展现了在 AI 网络、存储和安全等领域的创新突破。
    的头像 发表于 08-30 15:58 1151次阅读

    利用NVIDIA DPU重塑网络安全格局

    在第三届 NVIDIA DPU 黑客松竞赛中,我们见证了开发者与 NVIDIA 网络技术的深度碰撞。在 23 支参赛队伍中,有 5 支队伍脱颖而出,展现了在 AI 网络、存储和安全等领域的创新突破。
    的头像 发表于 08-20 14:31 1024次阅读

    Redis集群部署与性能优化实战

    Redis作为高性能的内存数据库,在现代互联网架构中扮演着关键角色。作为运维工程师,掌握Redis的部署、配置和优化技能至关重要。本文将从实战角度出发,详细介绍Redis集群的搭建、
    的头像 发表于 07-08 17:56 625次阅读

    NVIDIA DOCA 3.0版本的亮点解析

    NVIDIA DOCA 框架已发展成为新一代 AI 基础设施的重要组成部分。从初始版本到备受期待的 NVIDIA DOCA 3.0 发布,每个版本都扩展了 NVIDIA BlueField
    的头像 发表于 07-04 14:27 960次阅读
    <b class='flag-5'>NVIDIA</b> DOCA 3.0版本的亮点解析

    【经验分享】在Omni3576上编译Redis-8.0.2源码,并安装及性能测试

    本文首先介绍Redis是什么,然后介绍如何在Omni3576上编译Redis-8.0.2源码,以及从源码编译、安装Redis,最后介绍如何在Omni3576上运行Redis
    的头像 发表于 06-05 08:05 765次阅读
    【经验分享】在Omni3576上编译<b class='flag-5'>Redis</b>-8.0.2源码,并安装及<b class='flag-5'>性能</b>测试

    【幸狐Omni3576边缘计算套件试用体验】Redis最新8.0.2版本源码安装及性能测试

    本文首先介绍Redis是什么,然后介绍如何在Omni3576上编译Redis-8.0.2源码,以及从源码编译、安装Redis,最后介绍如何在Omni3576上运行Redis
    发表于 06-03 01:28

    第三届NVIDIA DPU黑客松开启报名

    碰撞的绝佳机会。本次竞赛采用开放式主题,参与者将通过 NVIDIA DOCA 软件框架构建创新的加速应用程序,充分挖掘 NVIDIA BlueField
    的头像 发表于 05-27 10:16 743次阅读

    利用NVIDIA DPF引领DPU加速云计算的未来

    越来越多的企业开始采用加速计算,从而满足生成式 AI、5G 电信和主权云的需求。NVIDIA 推出了 DOCA 平台框架(DPF),该框架提供了基础构建模块来释放 NVIDIA BlueFie
    的头像 发表于 01-24 09:29 1274次阅读
    利用<b class='flag-5'>NVIDIA</b> DPF引领<b class='flag-5'>DPU</b><b class='flag-5'>加速</b>云计算的未来

    华为云 Flexus X 加速 Redis 案例实践与详解

    Redis 加速镜像,更是为开发者提供了极大的便利。本文将详细介绍如何利用华为云 Flexus X 实例自带的 Redis 镜像,快速部署并配置 Redis,以及通过实际案例展示其
    的头像 发表于 01-23 17:52 601次阅读
    华为云 Flexus X <b class='flag-5'>加速</b> <b class='flag-5'>Redis</b> 案例实践与详解

    NVIDIA BlueField-3 DPU上运行WEKA客户端的实际优势

    WEKA是可扩展软件定义数据平台的先驱,NVIDIA 正在与其合作,将 WEKA 先进的数据平台解决方案与功能强大的NVIDIA BlueField DPU相结合。
    的头像 发表于 01-07 09:43 1048次阅读
    在<b class='flag-5'>NVIDIA</b> <b class='flag-5'>BlueField</b>-3 <b class='flag-5'>DPU</b>上运行WEKA客户端的实际优势

    华为云Flexus X实例,Redis性能加速评测及对比

    加速 Redis 的选项。本文旨在通过实际测试,展示华为云 Flexus X 实例在加速 Redis 方面的性能优势,并与其他业界 U1 实
    的头像 发表于 12-29 15:47 830次阅读
    华为云Flexus X实例,<b class='flag-5'>Redis</b><b class='flag-5'>性能</b><b class='flag-5'>加速</b>评测及对比

    Redis缓存与Memcached的比较

    Redis和Memcached都是广泛使用的内存数据存储系统,它们主要用于提高应用程序的性能,通过减少对数据库的直接访问来加速数据检索。以下是对Redis和Memcached的比较,涵
    的头像 发表于 12-18 09:33 916次阅读