0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是 NVLink?

NVIDIA英伟达 来源:未知 2023-04-19 04:05 次阅读

NVLink 是加速系统中 GPUCPU 处理器的高速互连技术,推动数据和计算加速得出可执行结果。

加速计算是一项曾经只有政府研究实验室中才有的高性能计算能力。如今,它已成为主流技术。

银行、汽车制造商、工厂、医院、零售商等机构需要处理和理解的数据日益增加,他们现在正在采用 AI 超级计算机来处理这些堆积如山的数据。

这些强大、高效的系统如同一条条“超级计算高速公路”。它们在多条并行路径上同时传输数据和计算,可以瞬间得出可执行结果。

GPU 和 CPU 处理器是“公路”沿途的资源,而快速互连通道是通往它们的“匝道”。NVLink 是加速计算互连通道的黄金标准。

那么,什么是 NVLink?

NVLink 是 GPU 和 CPU 之间的高速连接通道。它由一个强大的软件协议组成,通常通过印在计算机板上的多对导线实现,可以让处理器以闪电般的速度收发共享内存池中的数据。

如今,第四代 NVLink 连接主机和加速处理器的速度高达每秒 900GB/s。

这是传统 x86 服务器的互连通道——PCIe 5.0 带宽的 7 倍多。由于每传输 1 字节数据仅消耗 1.3 皮焦,因此 NVLink 的能效是 PCIe 5.0 的 5 倍。

NVLink 的历史

NVLink 最初作为 NVIDIA P100 GPU 的互连通道推出,之后便与每一代新的 NVIDIA GPU 架构同步发展。

daa33fec-de23-11ed-bfe3-dac502259ad0.jpg

2018 年,NVLink 首次亮相便被用于连接两台超级计算机——Summit 和 Sierra 的 GPU 和 CPU,成为了高性能计算领域的焦点。

这两套安装在美国橡树岭国家实验室和美国劳伦斯利弗莫尔国家实验室的系统正在推动药物研发、自然灾害预测等科学领域的发展。

带宽翻倍,继续发展

2020 年,第三代 NVLink 将每个 GPU 的最大带宽翻倍提高至 600GB/s,每个 NVIDIA A100 Tensor Core GPU 中都有十几条互连通道。

A100 为全球各地企业数据中心云计算服务和 HPC 实验室的 AI 超级计算机提供动力。

如今,一个 NVIDIA H100 Tensor Core GPU 中包含 18 条第四代 NVLink 互连通道。这项技术已承担了一项新的战略任务——帮助打造全球领先的 CPU 和加速器。

芯片到芯片互联

NVIDIA NVLink-C2C 是一种板级互连技术,它能够在单个封装中将两个处理器连接成一块超级芯片。比如它通过连接两块 CPU 芯片,使 NVIDIA Grace CPU 超级芯片具有 144 个 Arm Neoverse V2 核心,为云、企业和 HPC 用户带来了高能效性能。

NVIDIA NVLink-C2C 还将 Grace CPU 和 Hopper GPU 连接成 Grace Hopper 超级芯片,将用于处理最棘手的 HPC 和 AI 工作的加速计算能力集合到一块芯片中。

计划在瑞士国家计算中心投入使用的 AI 超级计算机 Alps 将是首批使用 Grace Hopper 的计算机之一。这套高性能系统将在今年晚些时候上线,用于处理从天体物理学到量子化学等领域的大型科学问题。

Grace 和 Grace Hopper 还非常适合用于提升高要求云计算工作负载的能效。

例如 Grace Hopper 是最适合用于推荐系统的处理器。这些互联网的经济引擎需要快速、高效地访问大量数据,才能每天向数十亿用户提供数万亿条结果。

dab5048e-de23-11ed-bfe3-dac502259ad0.jpg

与使用传统 CPU 的 Hopper 相比,采用 Grace Hopper 的推荐系统的性能提高了 4 倍,并且效率更高。

另外,NVLink 还被用于为汽车制造商提供的强大系统级芯片,包括 NVIDIA Hopper、Grace 和 Ada Lovelace 处理器等。车载计算平台 NVIDIA DRIVE Thor 将数字仪表板、车载信息娱乐、自动驾驶、泊车等诸多智能功能统一整合到单个架构中。

“乐高式”计算链路

NVLink 的作用就像是乐高积木的凸粒和凹槽。它是构建超级系统以处理超大型 HPC 和 AI 工作的基础。

例如,NVIDIA DGX 系统中的八个 GPU 上的 NVLink 通过 NVSwitch 芯片共享快速、直接的连接。它们共同组成了一个 NVLink 网络,使服务器中的每一个 GPU 都是一套系统的一部分。

为了获得更强大的性能,DGX 系统本身可以堆叠成由 32 台服务器组成的模块化单元,形成一个强大、高效的计算集群。

用户可以利用 DGX 内部的 NVLink 网络与两者之间的 NVIDIA Quantum-2 InfiniBand 交换以太网,将 32 个 DGX 系统模块连接成一台 AI 超级计算机。例如,一台 NVIDIA DGX H100 SuperPOD 包含 256 个 H100 GPU,可提供最高 1 EXAFLOP 的峰值 AI 性能。

如要进一步提高性能,用户还可以使用云中的 AI 超级计算机,例如微软Azure使用数万个 A100 和 H100 GPU 打造的超级计算机。OpenAI 等团队正在使用这项服务训练一些全球最大的生成式 AI 模型。

这再次印证了加速计算的力量。


原文标题:什么是 NVLink?

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3332

    浏览量

    87800

原文标题:什么是 NVLink?

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    全面解读英伟达NVLink技术

    NVLink是一种解决服务器内GPU之间通信限制的协议。与传统的PCIe交换机不同,NVLink带宽有限,可以在服务器内的GPU之间实现高速直接互连。第四代NVLink提供更高的带宽,每条通道达到112Gbps,比PCIe Ge
    发表于 04-22 11:01 88次阅读
    全面解读英伟达<b class='flag-5'>NVLink</b>技术

    什么是NVIDIA?InfiniBand网络VSNVLink网络

    NVSwitch物理交换机将多个NVLink GPU服务器连接成一个大型Fabric网络,即NVLink网络,解决了GPU之间的高速通信带宽和效率问题。
    发表于 04-16 09:56 162次阅读
    什么是NVIDIA?InfiniBand网络VSNVLink网络

    NVLink的演进:从内部互联到超级网络

    NVLink是NVIDIA开发的一种高速、低延迟的互联技术,旨在连接多个GPU以实现高性能并行计算。与传统的PCIe总线相比,NVLink提供了更高的带宽和更低的延迟,使得GPU之间可以更加高效地共享数据和通信。
    的头像 发表于 04-13 11:22 573次阅读
    <b class='flag-5'>NVLink</b>的演进:从内部互联到超级网络

    NVLink技术之GPU与GPU的通信

    在多 GPU 系统内部,GPU 间通信的带宽通常在数百GB/s以上,PCIe总线的数据传输速率容易成为瓶颈,且PCIe链路接口的串并转换会产生较大延时,影响GPU并行计算的效率和性能。
    发表于 03-27 09:40 346次阅读
    <b class='flag-5'>NVLink</b>技术之GPU与GPU的通信

    NVIDIA宣布推出NVIDIA Blackwell平台以赋能计算新时代

    全新 Blackwell GPU、NVLink 和可靠性技术赋能万亿参数规模的 AI 模型
    的头像 发表于 03-20 09:44 213次阅读

    英伟达官宣新一代Blackwell架构,把AI扩展到万亿参数

    基于Chiplet与片间互联技术,800Gb/s RNIC,1.8TB/s NVLink,英伟达正一步步构建出大型AI超算集群。互联效率定义LLM效率,互联元年正式开启。
    的头像 发表于 03-19 14:22 413次阅读
    英伟达官宣新一代Blackwell架构,把AI扩展到万亿参数

    英伟达AI服务器NVLink版与PCIe版有何区别?又如何选择呢?

    在人工智能领域,英伟达作为行业领军者,推出了两种主要的GPU版本供AI服务器选择——NVLink版(实为SXM版)与PCIe版。这两者有何本质区别?又该如何根据应用场景做出最佳选择呢?让我们深入探讨一下。
    的头像 发表于 03-19 11:21 1016次阅读
    英伟达AI服务器<b class='flag-5'>NVLink</b>版与PCIe版有何区别?又如何选择呢?

    深度解读Nvidia AI芯片路线图

    Nvidia是一个同时拥有 GPU、CPU和DPU的计算芯片和系统公司。Nvidia通过NVLink、NVSwitch和NVLink C2C技术将CPU、GPU进行灵活连接组合形成统一的硬件架构,并于CUDA一起形成完整的软硬件生态。
    发表于 03-13 09:25 372次阅读
    深度解读Nvidia AI芯片路线图

    英伟达推出为中国大陆定制的H20 AI GPU芯片

    尽管英伟达H20降低了AI算力,但其具有更低的售价、支持NVLink高速互联技术以及CUDA等优势。
    的头像 发表于 01-03 14:30 1032次阅读

    英伟达和华为/海思主流GPU型号性能参考

    一句话总结,H100 vs. A100:3 倍性能,2 倍价格 值得注意的是,HCCS vs. NVLINK的GPU 间带宽。 对于 8 卡 A800 和 910B 模块而言,910B HCCS 的总带宽为392GB/s,与 A800 NVLink (400GB/
    发表于 12-29 11:43 1706次阅读
    英伟达和华为/海思主流GPU型号性能参考

    英伟达三大AI法宝:CUDA、Nvlink、InfiniBand

    以太网是一种广泛使用的网络协议,但其传输速率和延迟无法满足大型模型训练的需求。相比之下,端到端IB(InfiniBand)网络是一种高性能计算网络,能够提供高达 400 Gbps 的传输速率和微秒级别的延迟,远高于以太网的性能。这使得IB网络成为大型模型训练的首选网络技术。
    发表于 12-05 11:02 1896次阅读
    英伟达三大AI法宝:CUDA、<b class='flag-5'>Nvlink</b>、InfiniBand

    什么是 NVLink?

    什么是 NVLink?
    的头像 发表于 10-27 16:10 348次阅读
    什么是 <b class='flag-5'>NVLink</b>?

    详解PCIe和NVLink两种互联技术

    计算机网络通信中两个重要的衡量指标是带宽和延迟,AI 网络也是如此。在向百亿级及以上规模的发展过程中,影响AI计算集群性能的关键并不只在于单个芯片的处理速度,每个芯片之间的通信速度也尤为重要。
    的头像 发表于 10-17 11:25 1w次阅读
    详解PCIe和<b class='flag-5'>NVLink</b>两种互联技术

    NVLink的演进

    2014年,NVLink 1.0发布,并应用在P100芯片上,如下图所示。两颗GPU之间有4条NVlink, 每个link中包含8个lane, 每条lane的速率是20Gb/s, 因此整个系统的双向带宽为160GB/s,是PCIe3 x16带宽的5倍。
    的头像 发表于 10-11 15:32 1309次阅读
    <b class='flag-5'>NVLink</b>的演进

    一文解析Nvlink的诞生和技术演进历程

    Nvlink-C2C是个错误的技术路径。 我仿佛记得Nvlink-C2C的主架构师Wei wei是我大学同学 ?有这么个模糊印象。 如果单纯从技术的角度,Nvlink-C2C真的是一个恰到好处的设计,挺佩服的。增之一分则太长,减
    发表于 07-03 11:50 3539次阅读
    一文解析<b class='flag-5'>Nvlink</b>的诞生和技术演进历程