创作

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

NVIDIA RDMA网络方案助力远端计算和存储网络优化

NVIDIA-Enterprise 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-01-04 14:45 次阅读

云原生数据库 TDSQL-C (原 CynosDB,TDSQL for Cloud Native Database) 是腾讯云自研的新一代高性能高可用的企业级分布式云数据库, TDSQL-C 使用 NVIDIA UCX RDMA 优化了关键路径系统性能,实现了超百万级 QPS 的高吞吐,128TB 海量分布式智能存储,保障了数据安全可靠。

云原生数据库 TDSQL-C 实现高性能面临挑战

TDSQL-C 采用计算存储分离的架构,可以快速进行节点的扩容,节点的迁移,但其引入的网络开销对实现高性能提出了更高的挑战。因此需要采用软件优化与新硬件相结合,通过基于 SPDK 和 UCX RDMA 的零拷贝技术,减少了操作系统上下文切换以及数据在用户态和内核态之间拷贝引起的性能损耗,进一步优化关键路径的系统性能,降低请求延迟。

传统的 TCP/IP 网络,存在以下几个缺点:应用的 buffer 发送到对端,需要经过多次拷贝,对端收到数据到接收到应用的接收 buffer,也需要多次拷贝;应用的 buffer 拷贝到 TCP/IP 的 buffer,需要从用户态进入到内核态,会有上下文切换;网络协议栈完全由 CPU 执行,耗费 CPU。

NVIDIA RDMA 网络方案+ConnectX 系列网卡

“软硬” 兼施,赋能数据库业务持续发展

充分利用软硬件资源做系统级别 Scale Out、Scale Up、 RDMA 等 Kernel ByPass 的低延时网络基础。以底层高性能硬件能力作为支柱,给腾讯云数据库业务发展提供持续不断的系统源动力。

根据业务部门需求和服务器新产品导入团队多年来在 RDMA 技术上的沉淀, 推荐使用搭载 NVIDIA ConnectX 系列网卡的服务器,使用 NVIDIA RDMA 网络方案来对数据库场景进行专项优化,充分利用 RDMA 天然的性能优势:

RDMA 技术是用户空间进程绕过内核直接调用 RDMA 网卡,实现和远端进程的高效快速通讯。RDMA 伴生于 InfiniBand 网络技术,由 IBTA 组织对其进行标准化定义和维护。RDMA 技术优势可以解决 TCP 传输方式中的各种缺点:

整个数据传输过程内存零拷贝。

网络传输完全卸载到网卡硬件,不占用 CPU 资源。

使用 RDMA 技术可以 100% 利用网络带宽。

整个数据传输过程由硬件完成,降低了系统延时。

NVIDIA RDMA 网络方案

助力远端计算和存储网络优化

NVIDIA RDMA 网络方案搭在硬件上使远端计算和存储网络的优化效果达到最优。

在 RDMA 与 TCP 性能的关键指标的对比测试中,RDMA 体现了其优势。例如从oplog msg 性能数据上看,RDMA 测延迟比 TCP 降低 71.7%,吞吐提高 43.2%;在 page 性能数据方面(page 大小为16KB),RDMA 测延迟比 TCP 降低 70.3%,吞吐提高 52.3%。

“腾讯云数据库是腾讯服务的基础架构,网络的延迟和带宽对于性能至关重要, RDMA 技术的 Kernel Bypass 和 CPU Offload 可以带来极低的延迟和极高的带宽。在 NVIDIA 网络产品上部署的推荐系统将为腾讯用户提供业界一流的性能,使用户充分享受 RDMA 带来的技术红利。

—— 腾讯云数据库TDSQL-C负责人

李志阳

“NVIDIA 作为 RDMA 技术的推动者和领跑者,很高兴看到这项技术在腾讯得到越来越广泛的应用,并正在从传统的 HPC/AI 业务拓展到高性能存储和数据库领域。UCX 的使用大幅度提高了 RDMA 应用的开发效率和吞吐率,并且使得 RoCE 跟客户应用能迅速整合,从而帮助客户更快走向市场,并提供差异化的云产品和服务。

——NVIDIA 副总裁Vadim Balahovski

了解更多 NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈的案例信息,欢迎点击“阅读原文”。

NVIDIA DOCA 现已开放接受申请,扫描下方海报二维码,即可注册加入,抢先体验,走在技术前沿!

原文标题:NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
审核编辑:汤梓红

原文标题:NVIDIA RDMA 网络助力腾讯云数据库突破性能瓶颈

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    litecli SQLite数据库命令行工具

    ./oschina_soft/litecli.zip
    发表于 05-26 15:49 1次 阅读
    litecli SQLite数据库命令行工具

    工业富联采用基于英伟达的超级芯片NVIDIA Grace CPU

    5月24日,工业富联宣布采用基于英伟达NVIDIA HGX、OVX和CGX系统设计的超级芯片NVID....
    的头像 科技绿洲 发表于 05-26 15:17 292次 阅读

    gim及时通讯框架

    ./oschina_soft/gitee-gim.zip
    发表于 05-26 14:24 3次 阅读
    gim及时通讯框架

    OLAP与OLTP数据库的区别是什么

    OLAP与OLTP数据库由于关注的业务不同,所以软件在工作方式和优化方法会有一些不同。 OLTP业务....
    发表于 05-25 11:29 36次 阅读

    深度学习模型转成TensorRT引擎的流程

    前面我们花了很多力气在 TAO 上面训练模型,其最终目的就是要部署到推理设备上发挥功能。除了将模型训....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-25 11:24 170次 阅读

    NVIDIA发布采用直接芯片冷却技术的数据中心PCIe GPU

    为了遏制气候变化,全球企业正在加快构建高性能、高能效的数据中心,Equinix 边缘基础设施主管 Z....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-25 11:20 326次 阅读

    NVIDIA助力阿里云构建视觉计算解决方案

    随着线上协作、“虚拟经济”等领域的潜力日渐被发掘,扩展现实(XR)、数字孪生、虚拟现实(VR)等技术....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-25 11:13 188次 阅读

    芯片和软件将数据中心转变为AI工厂

    数字孪生彻底改变了最复杂产品的生产方式。芯片和软件将数据中心转变为AI工厂。游戏业的发展将世界上最流....
    的头像 NVIDIA英伟达 发表于 05-25 11:10 211次 阅读

    基于Jetson AGX Orin的边缘AI和嵌入式计算系统

    硬件设计师在这场技术盛会上展示基于 Jetson AGX Orin 的边缘 AI 和嵌入式计算系统。
    的头像 NVIDIA英伟达 发表于 05-25 11:05 191次 阅读

    NVIDIA Grace CPU超级芯片大幅加速现代化工作负载

    华硕、富士康工业互联网、技嘉科技、云达科技、超微、纬颖等公司将提供用于数字孪生、 AI、高性能计算、....
    的头像 NVIDIA英伟达 发表于 05-25 11:02 132次 阅读

    数据中心如何转型成为AI工厂

    数字孪生彻底改变了最复杂产品的生产方式。芯片和软件将数据中心转变为AI工厂。游戏业的发展将世界上最流....
    的头像 科技绿洲 发表于 05-25 10:39 358次 阅读

    新华三实现对NVIDIA液冷GPU及安培系列GPU全系适配

    5月24日,在全球科技盛会“Computex 2022”期间,NVIDIA正式推出A100 80GB....
    的头像 科技绿洲 发表于 05-25 10:34 221次 阅读

    vimdb模拟单个数据库

    ./oschina_soft/vimdb.zip
    发表于 05-25 09:39 6次 阅读
    vimdb模拟单个数据库

    远端模块的应用场景有哪些 作用是什么

    教室内的终端类型越来越多,智能化越来越高,通常有多媒体计算机、智慧大屏、AP、摄像头等。
    的头像 华为产品资料 发表于 05-24 17:52 241次 阅读

    Kepware助力无人化控制系统高效稳定的运行

    1 背景 某公司的堆取料机无人化控制系统,凭借数十年企业信息化实践经验,以机器人视觉控制技术为基础,....
    发表于 05-24 15:43 7次 阅读
    Kepware助力无人化控制系统高效稳定的运行

    Li-Fi技术如何助力智能城市的发展

    智慧城市是一个利用数字和电信技术使传统网络和服务更加有效的地方,以造福居民和企业。
    的头像 梦回秦时 发表于 05-24 14:23 274次 阅读

    NVIDIA 推出液冷 GPU,助力实现可持续、高效计算

    液冷 NVIDIA A100 PCIe GPU 能够满足客户对高性能绿色数据中心的需求,在主流服务器....
    的头像 21克888 发表于 05-24 14:07 620次 阅读
    NVIDIA 推出液冷 GPU,助力实现可持续、高效计算

    全球三十多家NVIDIA技术合作伙伴于Computex发布首批Jetson AGX Orin生产系统

    本周,全球30多家领先的技术合作伙伴在Computex上发布了首批基于NVIDIA Jetson A....
    的头像 Blue5 发表于 05-24 12:01 540次 阅读
    全球三十多家NVIDIA技术合作伙伴于Computex发布首批Jetson AGX Orin生产系统

    NVIDIA Grace CPU迎来首批玩家,多家厂商将推出基于它的全新数据中心系统

    NVIDIA在Computex前夕宣布,多家计算机制造厂商将发布首批基于NVIDIA Grace C....
    的头像 荷叶塘 发表于 05-24 11:54 869次 阅读
    NVIDIA Grace CPU迎来首批玩家,多家厂商将推出基于它的全新数据中心系统

    利用JAVA向Mysql插入一亿数量级数据—效率测评

    所以通过随机生成人的姓名、年龄、性别、电话、email、地址 ,向mysql数据库大量插入数据,便于....
    的头像 Android编程精选 发表于 05-24 11:13 1530次 阅读

    GPU加速高性能计算经典应用

    高性能计算(HPC)在重大科学发现的前沿基础科学研究领域已逐渐成为不可或缺的重要手段之一。从分子动力....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-24 09:13 392次 阅读

    第四家华为openGauss “商业发行版”太阳塔科技

    随着国产数据库能力不断提升,逐步抢占海外厂商优势领域份额。以Oracle、MySQL、SQLServ....
    的头像 话说科技 发表于 05-23 09:30 157次 阅读
    第四家华为openGauss “商业发行版”太阳塔科技

    自然语言处理之情感分析

    情感分析是指根据文本数据(例如书面评论和社交媒体帖子)自动解释和分类情感(通常是积极、消极或中立)的....
    的头像 NVIDIA英伟达 发表于 05-21 10:27 360次 阅读

    NVIDIA自动驾驶网络会议将6月9日举办

    NVIDIA DRIVE Orin 现已投产,可在深度神经网络推理性能方面实现重大飞跃。6 月 9 ....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-21 10:24 450次 阅读

    计算机视觉系统让车流变得更通畅

    NVIDIA Metropolis 合作伙伴 Tapway 所提供的计算机视觉系统让马来西亚最大的高....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-21 10:09 550次 阅读

    物件检测模型训练的详细过程

    当前面已经训练好修剪过的模型之后,接下来就可以在训练设备上先执行推理计算,看看检测的效果如何?如果实....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-20 17:43 78次 阅读

    NVIDIA RTX A4500性能测评总结

    近日,来自 DEVELOP3D 的 Greg Corke 对 NVIDIA RTX A4500 进行....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-20 17:39 99次 阅读

    DASK适用于Python中的并行和分布式计算

    Dask 是一个灵活的开源库,适用于 Python 中的并行和分布式计算。
    的头像 NVIDIA英伟达 发表于 05-20 17:35 65次 阅读

    NVIDIA如何助力非洲开展人工智能革命

    NVIDIA 的 Kate Kallot 在非洲人工智能博览会上发表的主题演讲重点介绍了新兴地区如何....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-20 15:36 253次 阅读

    NVIDIA T4 GPU加速VIVO推荐系统部署

    展望未来,VIVO推荐系统工程团队会继续探索新技术,持续积累 GPU工程经验,并且沉淀到平台中,最终....
    的头像 星星科技指导员 发表于 05-20 15:27 508次 阅读
    NVIDIA T4 GPU加速VIVO推荐系统部署

    NVIDIA Triton助力腾讯PCG加速在线推理

      借助NVIDIA Triton 推理框架,配合 DALI/FIL/Python 等Backend....
    的头像 星星科技指导员 发表于 05-20 15:25 282次 阅读
    NVIDIA Triton助力腾讯PCG加速在线推理

    一文详细了解NVIDIA CloudXR 3.2的新功能

    自 NVIDIA CloudXR 发布以来,NVIDIA 收到了积极的反馈,并广泛采用了 SDK 。....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-20 15:16 201次 阅读

    NVIDIA GPU助力单颗粒冷冻电镜研究

    清华大学杨茂君实验室是国内领先的结构生物学实验室,杨茂君教授目前为清华大学 Tenue-Track ....
    的头像 NVIDIA英伟达企业解决方案 发表于 05-20 15:13 167次 阅读

    NVIDIA A100加速医学图像处理深度学习研究

      通过NVIDIA A100 GPU的MIG技术,在小团队的工作环境中有较高的自由度,在计算资源较....
    的头像 星星科技指导员 发表于 05-20 15:13 171次 阅读

    NVIDIA TensorRT加速打造实时数字化运动场景

      我们的硬件方案也从 4 台 HPC 缩减到 1 台 HPC 搭载 2 张 A100 GPU,不仅....
    的头像 星星科技指导员 发表于 05-20 15:11 123次 阅读
    NVIDIA TensorRT加速打造实时数字化运动场景

    NVIDIA DGX A100助力百图生科构建生物计算引擎

      基于以上挑战,百图生科采用了 NVIDIA DGX A100 80GB,将深度学习训练、推理和分....
    的头像 星星科技指导员 发表于 05-20 15:07 195次 阅读

    基于NVIDIA GPU加速平台实现5G端到端解决方案

      与各垂直行业特性相结合, 爱瑞无线和 NVIDIA 共同打造的 5G+AI 超融合解决方案将为智....
    的头像 星星科技指导员 发表于 05-20 15:04 250次 阅读

    NVIDIA TensorRT的命令行程序

      如果您向--timingCacheFile选项提供时序缓存文件,则构建器可以从中加载现有的分析数....
    的头像 星星科技指导员 发表于 05-20 14:54 158次 阅读
    NVIDIA TensorRT的命令行程序

    NVIDIA TensorRT的数据格式定义

      数据类型是每个单独值的表示。它的大小决定了取值范围和表示的精度,分别是FP32(32位浮点,或单....
    的头像 星星科技指导员 发表于 05-20 14:48 203次 阅读
    NVIDIA TensorRT的数据格式定义

    NVIDIA TensorRT网络层详解

    在 TensorRT 中,层代表了不同风格的数学或编程操作。以下部分描述了 TensorRT 支持的....
    的头像 星星科技指导员 发表于 05-20 14:38 131次 阅读

    NVIDIA DGX Station A100助力清华大学缩短冷冻电镜数据处理时间

    清华大学杨茂君实验室是国内领先的结构生物学实验室,杨茂君教授目前为清华大学 Tenue-Track ....
    的头像 科技绿洲 发表于 05-20 14:33 223次 阅读

    IP地址是什么,IP地址的分类有哪些

    一、IP地址概念 IP地址是一个32位的二进制数,它由网络ID和主机ID两部份组成,用来在网络中唯一....
    发表于 05-20 13:34 37次 阅读

    DarkFi匿名Defi网络

    ./oschina_soft/darkfi.zip
    发表于 05-20 09:43 5次 阅读
    DarkFi匿名Defi网络

    NVIDIA Air助力测试和验证迁移工作 确保无故障迁移

    这种以 DevOps 为中心的方法意味着可以在 NVIDIA Air 平台上托管的数字孪生模型中模拟....
    的头像 科技绿洲 发表于 05-19 16:49 287次 阅读

    浪潮分布式存储AS13000搭建血液病检测平台

    因分析、基因诊断、白血病分型、指导治疗、判断预后等领域已经有了成熟应用,而其中血液学已成为了此类现代....
    的头像 科技绿洲 发表于 05-19 15:17 1011次 阅读

    IBM推出纯软Datapower解决方案 客户能更好更快拓展API网关集群

     IBM曾有一个品牌理念,“智者乐见难题”。很多科技在数字化转型中的应用正是难题中来的,创造出真正的....
    的头像 科技绿洲 发表于 05-18 14:37 216次 阅读

    NVIDIA如何帮助新兴市场开发者建立和扩展AI项目

    Kallot 在迄今为止规模最大的一届非洲人工智能博览会开幕当天向一万名线上观众发表了主题演讲。她重....
    的头像 科技绿洲 发表于 05-18 14:22 266次 阅读

    使用NVIDIA CloudXR 3.2打造可扩展的沉浸式体验

      我们的开发者社区继续帮助塑造 CloudXR ,我们对推出 CloudXR 3.2 感到无比兴奋....
    的头像 星星科技指导员 发表于 05-18 10:20 141次 阅读

    HarmonyOS服务开放平台推出“崩溃服务能力”

    用户在使用原子化服务时,出现卡顿、缓慢、闪退等情况就是典型的崩溃。尽管原子化服务在发布前都会经过严格....
    的头像 科技绿洲 发表于 05-18 10:16 228次 阅读
    HarmonyOS服务开放平台推出“崩溃服务能力”

    NVIDIA TensorRT的最佳性能实践

    在开始使用 TensorRT 进行任何优化工作之前,必须确定应该测量什么。没有衡量标准,就不可能取得....
    的头像 星星科技指导员 发表于 05-18 10:12 215次 阅读

    如何调用CH579里面的Touch-Key库?

    第一次调CH579里面的Touch-Key,用的TKY_CH579库,有没有哪位大神用过,教教我调试的时候从哪一步开始调起?为啥我算的充...
    发表于 05-17 06:50 121次 阅读

    flashDB TSDB数据库插入数据时报错是为什么?

    flashDB TSDB的get_time函数时返回的系统时间戳,在使用中出现我偶然错误的将RTC时间设置得比现在的时间要大很多,后面...
    发表于 05-12 16:14 2230次 阅读

    Harmonyos应用程序开发如何连接到本地sqlserver数据库?

    开发文档里面是在运行代码时建立数据库,如何可以使应用程序连接到电脑内存的本地sqlserver数据库。 ...
    发表于 04-26 10:49 988次 阅读

    RDS for PostgreSQL的插件的创建/删除和使用方法

    本文介绍 RDS for PostgreSQL 的插件及不同插件的创建、删除或使用方法。 PostgreSQL插件简介是开源数据库中的关系型...
    发表于 04-25 10:30 379次 阅读

    【HarmonyOS IPC 试用连载 】第5章 HiSpark IPC Camera连接网络

    开发环境:开发系统:Ubuntu 20.04开发板:HiSparkIPCCamera(Hi3518)HarmonyOS版本:V1.1.4 5.1配置WiFi1.修改工程...
    发表于 04-16 20:57 2476次 阅读
    【HarmonyOS IPC 试用连载 】第5章 HiSpark IPC Camera连接网络

    手把手教你怎么使用HarmonyOS Glide

    Glid是一个快速高效的库。Glid 提供了一个易于使用的 API、一个性能和可​​扩展的资源解码器和自动资源池。一个灵活的AP...
    发表于 04-15 11:13 1462次 阅读

    HarmonyOs集成Hawk的方法

    作用 Hawk数据存储工具,使用超简单,可以替代 Preferences,作为本地存储。Hawk是一个非常能的数据库。 项目配置 添加项目...
    发表于 04-15 11:04 1106次 阅读

    DataAbility的使用方法及访问数据库的过程

    DataAbility介绍: 使用Data模板的Ability(以下简称“Data”)有助于应用管理其自身和其他应用存储数据的访问,并提供与其...
    发表于 04-06 10:32 1072次 阅读

    全志R系列Tina 如何使用 NFS?

    NFS(Network File System,网络文件系统)可用于客户端访问服务器端的文件,并且从上层看其过程与访问本地文件相同。 以...
    发表于 04-01 09:44 574次 阅读

    【HarmonyOS HiSpark AI Camera试用连载 】03----Hi3516DV300开发板实现网络NFS挂载实验

    1.1 【实验目的】1、使用Hi3516DV300的基本操作方法与环境搭建以及uboot、kernel、fs文件系统烧写。2、学会使用开发板挂载NF...
    发表于 03-29 20:57 1383次 阅读