0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA全新AI以太网络平台大幅提升AI云性能

丽台科技 来源:NVIDIA英伟达企业解决方案 2023-11-27 14:31 次阅读

NVIDIA 近日宣布,三家头部系统制造商将率先在其服务器产品阵容中集成专为 AI 量身定制的 NVIDIA Spectrum-X 以太网络技术,帮助企业客户加速生成式 AI 业务。

Spectrum-X 专为生成式 AI 量身定制,为企业提供了一种全新的以太网络,相较传统以太网方案,其 AI 通信网络性能提高了 1.6 倍。

这三家头部系统制造商的新系统,整合了 Spectrum-X 与 NVIDIA Tensor Core GPU、NVIDIA AI Enterprise 软件和 NVIDIA AI Workbench 软件,为企业通过生成式 AI 来实现业务转型奠定了基础。

NVIDIA 创始人兼首席执行官黄仁勋表示:“生成式 AI 和加速计算正在推动新一代的业务转型,企业需要升级其数据中心来满足新型业务的需求。加速网络就是 NVIDIA 的头部服务器制造商合作伙伴推出新一代系统的催化剂,加快他们迈向生成式 AI 新时代。”

专门用于加速 AI 的网络

为实现 AI 业务的出色效率,Spectrum-X 集性能优异的 Spectrum-4 以太网交换机、NVIDIA BlueField-3 SuperNIC(一款可以大幅提升超大规模 AI 业务性能的新型网络加速器)以及多种加速软件于一体。领先的基础设施计算平台 —— NVIDIA BlueField-3 DPU 就属于 Spectrum-X 的一部分。

Spectrum-4 是专门面向 AI 的 51Tb/sec 以太网交换机,可在大规模、满负荷的场景下提供较高的数据吞吐量,同时在 AI 云业务的多租户场景下将网络拥塞降低,其智能的、基于微调的路由技术可以保障网络基础设施的利用率。

BlueField-3 SuperNIC 专为网络密集型的大规模并行计算而设计,可在 GPU 服务器之间提供高达 400Gb/s 的 RDMA(RoCE - RDMA over Converged Ethernet)网络连接,大幅提升了集群内部基于东西网络流量的 AI 训练和推理性能,还能实现多租户数据中心环境的安全隔离,确保租户业务的可预测性和性能隔离。BlueField-3 SuperNIC 基于低功耗、半高半长的 PCIe 规格设计,是企业级服务器的理想选择。

NVIDIA 加速软件包括 Cumulus Linux、SONiC 和 NetQ 三者组成的性能优异的 Spectrum-X 软件开发套件,以及作为 BlueField 核心的 NVIDIA DOCA 软件框架。

NVIDIA AI Enterprise 为安全、稳定和已经支持的生产级 AI 业务提供了框架、预训练模型和开发工具。NVIDIA AI Workbench 使开发者能够在 PC 或工作站上快速创建、测试和自定义预训练生成式 AI 模型,然后将其扩展至几乎任何数据中心或云。

搭载 Spectrum-X 的 NVIDIA 超级计算机

NVIDIA 自己的一台超级计算机就在使用 Spectrum-X,这也是新一代 AI 系统的参考架构。该超级计算机由 NVIDIA 与戴尔科技联合开发,使用了基于 8 卡 NVIDIA Hopper GPU 的 HGX 平台和 BlueField-3 DPU 及 SuperNIC 的 Dell PowerEdge XE9680 服务器,并通过 Spectrum-4 交换机组成了集群系统。






审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 以太网
    +关注

    关注

    40

    文章

    5076

    浏览量

    166234
  • NVIDIA
    +关注

    关注

    14

    文章

    4592

    浏览量

    101716
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4417

    浏览量

    126702
  • 交换机
    +关注

    关注

    19

    文章

    2437

    浏览量

    95656
  • RDMA
    +关注

    关注

    0

    文章

    68

    浏览量

    8845

原文标题:NVIDIA 全新 AI 以太网络平台大幅提升 AI 云性能

文章出处:【微信号:Leadtek,微信公众号:丽台科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA发布专为大规模AI量身订制的全新网络交换机-X800系列

    NVIDIA Quantum-X800 InfiniBand 网络NVIDIA Spectrum™-X800 以太网络是全球首批高达 800Gb/s 端到端吞吐量的
    的头像 发表于 03-20 09:54 227次阅读

    NVIDIA 发布全新交换机,全面优化万亿参数级 GPU 计算和 AI 基础设施

    NVIDIA Quantum-X800 InfiniBand 网络,打造性能最强大的 AI 专用基础设施 NVIDIA Spectrum-X
    发表于 03-19 10:05 115次阅读
    <b class='flag-5'>NVIDIA</b> 发布<b class='flag-5'>全新</b>交换机,全面优化万亿参数级 GPU 计算和 <b class='flag-5'>AI</b> 基础设施

    高通推出全新AI Hub,使AI推理速度最高提升4倍

    在今年的世界移动通信大会(MWC)上,高通公司展示了其最新的技术成果——全新的高通AI Hub。这一创新平台为开发者提供了全面优化的AI模型库,涵盖传统
    的头像 发表于 02-28 10:28 252次阅读

    态路小课堂丨InfiniBand与以太网AI时代的网络差异

      近年来,随着人工智能技术的迅猛发展,以ChatGPT为代表的大型AI模型引起了广泛关注。然而,在这个AI时代,我们不得不重新审视传统的以太网和基于InfiniBand构建的网络之间
    的头像 发表于 11-29 18:16 407次阅读
    态路小课堂丨InfiniBand与<b class='flag-5'>以太网</b>:<b class='flag-5'>AI</b>时代的<b class='flag-5'>网络</b>差异

    戴尔科技、慧与和联想即将推出 NVIDIA 全新 AI 以太网络平台

    NVIDIA Spectrum-X 以太网络技术,帮助企业客户加速生成式 AI 业务。 Spectrum-X 专为生成式 AI 量身定制,为企业提供了一种
    的头像 发表于 11-21 21:50 329次阅读
    戴尔科技、慧与和联想即将推出 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>全新</b> <b class='flag-5'>AI</b> <b class='flag-5'>以太网络</b><b class='flag-5'>平台</b>

    戴尔科技、慧与和联想即将推出 NVIDIA 全新 AI 以太网络平台

    NVIDIA Spectrum-X™ 以太网络技术,帮助企业客户加速生成式 AI 业务。   Spectrum-X 专为生成式 AI 量身定制,为企业提供了一种
    发表于 11-21 18:18 156次阅读
    戴尔科技、慧与和联想即将推出 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>全新</b> <b class='flag-5'>AI</b> <b class='flag-5'>以太网络</b><b class='flag-5'>平台</b>

    NVIDIA 为全球领先的 AI 计算平台 Hopper 再添新动力

    NVIDIA HGX™ H200,为 Hopper 这一全球领先的 AI 计算平台再添新动力。NVIDIA HGX H200 平台基于
    发表于 11-14 14:30 112次阅读
    <b class='flag-5'>NVIDIA</b> 为全球领先的 <b class='flag-5'>AI</b> 计算<b class='flag-5'>平台</b> Hopper 再添新动力

    全新NVIDIA Spectrum-X网络平台构筑阿里生成式AI云底座

    全新 NVIDIA Spectrum-X 网络平台构筑阿里生成式 AI 云底座。
    的头像 发表于 11-02 09:07 346次阅读
    <b class='flag-5'>全新</b><b class='flag-5'>NVIDIA</b> Spectrum-X<b class='flag-5'>网络</b><b class='flag-5'>平台</b>构筑阿里生成式<b class='flag-5'>AI</b>云底座

    阿里云与 NVIDIA 合作测试以太网络新架构

    全新 NVIDIA Spectrum-X 网络平台构筑阿里生成式 AI 云底座 随着生成式 AI
    的头像 发表于 11-01 09:30 183次阅读

    AI智能呼叫中心

    可以自动识别和响应来电,通过分析用户的语音、文字和情绪等信息,并给出针对性的应答,与传统的人工处理相比,AI智能呼叫中心能够实现24/7不间断的服务,大幅提高了处理效率和用户满意度。二、个性化服务AI
    发表于 09-20 17:53

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    平台通过软硬件深度协同,较经典方案提升超 8 成性能,支持运行 170 余个主流 AI 模型,推动 RISC-V 进入高性能
    发表于 08-26 14:14

    全球领先系统制造商推出 NVIDIA AI 就绪型服务器,为企业大幅提升生成式 AI 性能

    戴尔科技、慧与和联想即将推出采用 NVIDIA L40S GPU 和 NVIDIA BlueField 的服务器,以支持 VMware Private AI Foundation
    的头像 发表于 08-23 19:10 377次阅读

    借助 NVIDIA Spectrum 以太网最大限度地提高存储网络性能

    。  连接存储节点的以太网网络架构可能会阻碍横向扩展存储性能NVIDIA 加速以太网可以消除性能瓶颈,从而为一般应用程序,特别是
    的头像 发表于 07-05 18:15 195次阅读
    借助 <b class='flag-5'>NVIDIA</b> Spectrum <b class='flag-5'>以太网</b>最大限度地提高存储<b class='flag-5'>网络</b><b class='flag-5'>性能</b>

    COMPUTEX2023 | NVIDIA 推出面向超大规模生成式 AI 的加速以太网平台

    服务 COMPUTEX—2023 年 5 月 29 日 — NVIDIA 于今日宣布推出 NVIDIA Spectrum-X 网络平台,该平台
    的头像 发表于 05-30 01:40 377次阅读
    COMPUTEX2023 | <b class='flag-5'>NVIDIA</b> 推出面向超大规模生成式 <b class='flag-5'>AI</b> 的加速<b class='flag-5'>以太网</b><b class='flag-5'>平台</b>

    NVIDIA AI 技术助力 vivo 文本预训练大模型性能提升

    vivo AI 团队与 NVIDIA 团队合作,通过算子优化,提升 vivo 文本预训练大模型的训练速度。在实际应用中, 训练提速 60% ,满足了下游业务应用对模型训练速度的要求。通过
    的头像 发表于 05-26 07:15 444次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> 技术助力 vivo 文本预训练大模型<b class='flag-5'>性能</b><b class='flag-5'>提升</b>