0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA RDMA网络方案助力远端计算和存储网络优化

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-01-04 14:45 次阅读

云原生数据库 TDSQL-C (原 CynosDB,TDSQL for Cloud Native Database) 是腾讯云自研的新一代高性能高可用的企业级分布式云数据库, TDSQL-C 使用 NVIDIA UCX RDMA 优化了关键路径系统性能,实现了超百万级 QPS 的高吞吐,128TB 海量分布式智能存储,保障了数据安全可靠。

云原生数据库 TDSQL-C 实现高性能面临挑战

TDSQL-C 采用计算存储分离的架构,可以快速进行节点的扩容,节点的迁移,但其引入的网络开销对实现高性能提出了更高的挑战。因此需要采用软件优化与新硬件相结合,通过基于 SPDK 和 UCX RDMA 的零拷贝技术,减少了操作系统上下文切换以及数据在用户态和内核态之间拷贝引起的性能损耗,进一步优化关键路径的系统性能,降低请求延迟。

传统的 TCP/IP 网络,存在以下几个缺点:应用的 buffer 发送到对端,需要经过多次拷贝,对端收到数据到接收到应用的接收 buffer,也需要多次拷贝;应用的 buffer 拷贝到 TCP/IP 的 buffer,需要从用户态进入到内核态,会有上下文切换;网络协议栈完全由 CPU 执行,耗费 CPU。

NVIDIA RDMA 网络方案+ConnectX 系列网卡

“软硬” 兼施,赋能数据库业务持续发展

充分利用软硬件资源做系统级别 Scale Out、Scale Up、 RDMA 等 Kernel ByPass 的低延时网络基础。以底层高性能硬件能力作为支柱,给腾讯云数据库业务发展提供持续不断的系统源动力。

根据业务部门需求和服务器新产品导入团队多年来在 RDMA 技术上的沉淀, 推荐使用搭载 NVIDIA ConnectX 系列网卡的服务器,使用 NVIDIA RDMA 网络方案来对数据库场景进行专项优化,充分利用 RDMA 天然的性能优势:

RDMA 技术是用户空间进程绕过内核直接调用 RDMA 网卡,实现和远端进程的高效快速通讯。RDMA 伴生于 InfiniBand 网络技术,由 IBTA 组织对其进行标准化定义和维护。RDMA 技术优势可以解决 TCP 传输方式中的各种缺点:

整个数据传输过程内存零拷贝。

网络传输完全卸载到网卡硬件,不占用 CPU 资源。

使用 RDMA 技术可以 100% 利用网络带宽。

整个数据传输过程由硬件完成,降低了系统延时。

NVIDIA RDMA 网络方案

助力远端计算和存储网络优化

NVIDIA RDMA 网络方案搭在硬件上使远端计算和存储网络的优化效果达到最优。

在 RDMA 与 TCP 性能的关键指标的对比测试中,RDMA 体现了其优势。例如从oplog msg 性能数据上看,RDMA 测延迟比 TCP 降低 71.7%,吞吐提高 43.2%;在 page 性能数据方面(page 大小为16KB),RDMA 测延迟比 TCP 降低 70.3%,吞吐提高 52.3%。

“腾讯云数据库是腾讯服务的基础架构,网络的延迟和带宽对于性能至关重要, RDMA 技术的 Kernel Bypass 和 CPU Offload 可以带来极低的延迟和极高的带宽。在 NVIDIA 网络产品上部署的推荐系统将为腾讯用户提供业界一流的性能,使用户充分享受 RDMA 带来的技术红利。

—— 腾讯云数据库TDSQL-C负责人

李志阳

“NVIDIA 作为 RDMA 技术的推动者和领跑者,很高兴看到这项技术在腾讯得到越来越广泛的应用,并正在从传统的 HPC/AI 业务拓展到高性能存储和数据库领域。UCX 的使用大幅度提高了 RDMA 应用的开发效率和吞吐率,并且使得 RoCE 跟客户应用能迅速整合,从而帮助客户更快走向市场,并提供差异化的云产品和服务。

——NVIDIA 副总裁Vadim Balahovski

了解更多 NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈的案例信息,欢迎点击“阅读原文”。

NVIDIA DOCA 现已开放接受申请,扫描下方海报二维码,即可注册加入,抢先体验,走在技术前沿!

原文标题:NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4588

    浏览量

    101694
  • 网络
    +关注

    关注

    14

    文章

    7249

    浏览量

    87434
  • 数据库
    +关注

    关注

    7

    文章

    3590

    浏览量

    63364

原文标题:NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施

    NVIDIA Quantum-X800 InfiniBand 网络,打造性能最强大的 AI 专用基础设施 NVIDIA Spectrum-X800 以太网络,数据中心必备的
    发表于 03-19 10:05 112次阅读
    <b class='flag-5'>NVIDIA</b> 发布全新交换机,全面<b class='flag-5'>优化</b>万亿参数级 GPU <b class='flag-5'>计算</b>和 AI 基础设施

    网络存储技术有哪三种 网络存储技术包括哪些

    Attached Storage,简称NAS) NAS是一种基于网络存储设备,通过局域网或广域网连接计算机,提供文件级别的存储服务。NAS可以看作是一个独立的
    的头像 发表于 02-03 11:15 604次阅读

    RDMA RNIC虚拟化方案

    远程直接内存访问(Remote Direct Memory Access,RDMA)技术允许应用程序绕过操作系统内核,以零拷贝的方式和远程计算机进行网络通信,具有低延迟和高带宽的优势。RDMA
    的头像 发表于 01-23 17:23 670次阅读
    <b class='flag-5'>RDMA</b> RNIC虚拟化<b class='flag-5'>方案</b>

    深入了解RDMA技术

    Explorer,专注于高性能网络、虚拟化网络及网卡的测试方案研究。熟悉dpdk,rdma,sdn等技术的应用与解决方案
    的头像 发表于 12-26 09:23 815次阅读
    深入了解<b class='flag-5'>RDMA</b>技术

    rdma网络是什么?RDMA网络有什么应用场景?

    RDMA(Remote Direct Memory Access)网络是一种技术,它通过网络直接在计算机之间传输数据,而无需双方操作系统的介入。这种技术可以允许高吞吐、低延迟的
    的头像 发表于 12-22 09:30 558次阅读

    华为NoF+存储网络解决方案

    RDMA over Converged Ethernet)被广大存储厂商所接受,成为业界NoF的主流。华为推出的NoF+存储网络解决方案
    的头像 发表于 12-18 16:41 598次阅读
    华为NoF+<b class='flag-5'>存储</b><b class='flag-5'>网络</b>解决<b class='flag-5'>方案</b>

    RDMA和TCP/IP有什么区别

    在分布式存储网络中,我们使用的协议有RoCE、Infiniband(IB)和TCP/IP。其中RoCE和IB属于RDMA (RemoteDirect Memory Access)技术,他和传统的TCP/IP有什么区别呢,接下来我
    的头像 发表于 11-30 09:19 708次阅读
    <b class='flag-5'>RDMA</b>和TCP/IP有什么区别

    戴尔科技、慧与和联想即将推出 NVIDIA 全新 AI 以太网络平台

    基于最新 NVIDIA Spectrum-X 网络端到端平台,助力客户通过 AI 实现业务转型 NVIDIA 今日宣布,戴尔科技、慧与和联想将率先在其服务器产品阵容中集成专为 AI 量
    的头像 发表于 11-21 21:50 327次阅读
    戴尔科技、慧与和联想即将推出 <b class='flag-5'>NVIDIA</b> 全新 AI 以太<b class='flag-5'>网络</b>平台

    戴尔科技、慧与和联想即将推出 NVIDIA 全新 AI 以太网络平台

    基于最新 NVIDIA Spectrum-X 网络端到端平台, 助力客户通过 AI 实现业务转型   NVIDIA 今日宣布, 戴尔科技、慧与和联想将率先在其服务器产品阵容中集成专为
    发表于 11-21 18:18 156次阅读
    戴尔科技、慧与和联想即将推出 <b class='flag-5'>NVIDIA</b> 全新 AI 以太<b class='flag-5'>网络</b>平台

    NVIDIA 端到端网络解决方案亮相“腾讯全球数字生态大会”,引领产业未来!

    网络技术的最新进展 ,包含 NVIDIA Spectrum-X 在 AI 性能和能效提升方面的成果 。 现场解锁 NVIDIA 端到端网络解决方案
    的头像 发表于 09-06 19:15 647次阅读
    <b class='flag-5'>NVIDIA</b> 端到端<b class='flag-5'>网络</b>解决<b class='flag-5'>方案</b>亮相“腾讯全球数字生态大会”,引领产业未来!

    存储网络业务连续性解决方案

    电子发烧友网站提供《存储网络业务连续性解决方案.pdf》资料免费下载
    发表于 08-28 10:06 0次下载
    <b class='flag-5'>存储</b><b class='flag-5'>网络</b>业务连续性解决<b class='flag-5'>方案</b>

    什么是RDMA?什么是RoCE网络技术?

    在数据为王的时代,人们对网络的要求更加严苛。然而传统的TCP / IP以太网连接占用了大量的CPU资源,并且需要额外的数据处理,已无法再满足当前更快、更高效和可扩展性的网络需求。在这种情况下,RoCE(RDMA over Con
    的头像 发表于 07-24 17:40 3963次阅读
    什么是<b class='flag-5'>RDMA</b>?什么是RoCE<b class='flag-5'>网络</b>技术?

    新的 MLPerf 推理网络部分展现 NVIDIA InfiniBand 网络和 GPUDirect RDMA 的强大能力

    在 MLPerf Inference v3.0 中,NVIDIA 首次将网络纳入了 MLPerf 的评测项目,成为了 MLPerf 推理数据中心套件的一部分。网络评测部分旨在模拟在真实的数据中心
    的头像 发表于 07-19 19:10 649次阅读
    新的 MLPerf 推理<b class='flag-5'>网络</b>部分展现 <b class='flag-5'>NVIDIA</b> InfiniBand <b class='flag-5'>网络</b>和 GPUDirect <b class='flag-5'>RDMA</b> 的强大能力

    数据中心以太网和RDMA:超大规模环境下的问题

    我们观察到新兴的人工智能、高性能计算存储工作负载对大规模数据中心网络提出了新的挑战。基于融合以太网的RDMA协议(RoCE,RDMA ov
    的头像 发表于 07-14 16:41 2816次阅读
    数据中心以太网和<b class='flag-5'>RDMA</b>:超大规模环境下的问题

    WCDMA和GSM在网络优化方面有哪些不同呢?

    什么是无线网络优化?WCDMA和GSM在网络优化方面有哪些不同呢?
    发表于 05-09 16:25