0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助 NVIDIA 融合加速器开发套件加速数据中心 AI

NVIDIA英伟达 来源:NVIDIA 英伟达 作者:NVIDIA 英伟达 2021-11-16 16:12 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

现代数据中心变得越来越难以管理。应用程序和 PB 级日志数据之间有数十亿条可能的连接路径。静态规则不足以适应动态微服务的安全策略,而且人工已经无法应对数量庞大的日志数据的分析。

AI 是通往未来安全和自主管理式数据中心的唯一出路。

NVIDIA 融合加速器在业界率先推出 AI 增强型 DPU。它将 GPU 的强大计算能力与 DPU 的网络加速和安全优势相结合,为 AI 增强型数据中心管理创造了统一平台。融合加速器可将 AI 生成的规则应用于数据中心网络中的每个数据包,为实现实时安全和管理创造新的可能性。图像展示了将 BlueField-2 DPU 和 Ampere GPU 相结合的 NVIDIA 新型融合加速器。

在 NVIDIA GTC 大会上,我们推出了两款新型融合加速器。A100X 在单一模组中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 DPU。A30X 则融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有独特的能力,除了 BlueField-2 的卸载、隔离和加速网络功能,进一步拓展到 AI 推理和训练功能。

两款加速器都包含一个集成的 PCIe 交换机实现DPU 和 GPU 连接。集成交换机能够消除对主机资源的争用,实现线速 GPUDirect RDMA 性能。集成交换机还通过隔离 GPU 和网卡之间移动的数据来提高安全性。

AI 增强型 DPU

融合加速器支持两种运行模式:

标准模式 – BlueField-2 DPU 和 GPU 分别独立运行。

BlueField-X模式 – PCI 交换机进行了重新配置,GPU 将专用于 DPU,并且对于主机系统不可见。

在 BlueField-X 模式下,只有 DPU 上运行的操作系统可见到GPU。BlueField-X 模式在业界首创了一种新型加速器类型:GPU 加速的 DPU。图像展示了在 BlueField-X 模式下,主机服务器中的 CPU 连接到融合加速器。融合加速器的 PCIe 交换机连接到 CPU 和 DPU。而 GPU 仅通过 PCIe 交换机与 DPU连接。

在 BlueField-X 模式下,GPU 可以对流经 DPU 的数据运行 AI 模型,成为 “bump in the wire”。保障安全同时,无性能损耗。AI 模型无需消耗主机资源,实现完全加速。

BlueField-X 为网络安全、数据中心管理和 I/O 加速解锁新颖使用场景。例如,Morpheus 网络安全框架使用机器学习对以往无法识别的安全威胁进行有效处理。Morpheus 通过 DPU 从数据中心的各个服务器获取遥测数据,并将其发送到配备 GPU 的服务器进行分析。

有了 BlueField-X,AI 模型可以在每个服务器的融合加速器上直接本地运行。这使 Morpheus 能够更快地分析更多数据,同时消除代价很高的数据移动,并缩小恶意攻击面。由 BlueField-X 加速的 Morpheus 使用案例包括恶意软件检测、数据泄漏预防和动态防火墙规则创建等。

Morpheus 示例仅仅是 BlueField-X 实现加速的一种使用场景。我们的客户经常与我们分享一些我们尚未考虑到的新想法。为了对 AI 增强的网络进行更多创造性的探索,我们现正推出 NVIDIA 融合加速器开发套件。

结合此开发套件,我们为有意构建新一代加速 AI 网络应用的特定客户和合作伙伴提供 A30X 加速器的抢先体验计划。在边缘计算或数据中心管理中探索 BlueField-X 的新应用场景。以下例子为您做参考:

透明视频预处理 – Bump-in-the-wire 视频预处理(解密、交错、格式转换等),以提高 IVA 吞吐量和摄像头密度。

小基站 RU 解决方案 – RAN 信号处理聚合加速器,以增加商业 gNodeB 服务器上的用户密度和吞吐量。

计算存储 – Bump-in-the-wire 存储加密、索引和哈希,为长期存储主机数据准备处理卸载昂贵的 CPU 资源。

作弊检测 – 检测流式游戏服务中的恶意游戏/作弊

开始使用 NVIDIA 融合加速器开发套件

NVIDIA 融合加速器开发套件包含有结合 CUDA 和 NVIDIA DOCA 的示例应用程序,以及帮助安装、配置新型融合加速器的文档。最重要的是,可提供 A30X 及应用支持来换取用户的宝贵反馈。

要开始使用,只需在 NVIDIA 融合加速器开发套件网页上完成注册。获得批准后,一旦硬件准备好发货,将由工作人员主动联系。之后就可以开启新一代加速应用之旅了。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    841

    浏览量

    40269
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5283

    浏览量

    136105
  • 主机
    +关注

    关注

    0

    文章

    1065

    浏览量

    36858
  • 数据中心
    +关注

    关注

    18

    文章

    5780

    浏览量

    75215
  • DPU
    DPU
    +关注

    关注

    0

    文章

    417

    浏览量

    27150

原文标题:GTC21 | 借助 NVIDIA 融合加速器开发套件加速数据中心 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Arm CPU推动数据中心业务正加速发展

    在过去十年中的大部分时间里,数据中心领域的话题都围绕着加速器展开。随着人工智能 (AI) 训练工作负载的爆炸式增长,GPU、TPU 等占据了新闻头条、投资者报告和基础设施路线图的核心位置。而如今
    的头像 发表于 03-24 10:15 510次阅读

    全新Altera Agilex开发套件正式发布

    Altera 正式面向嵌入式和 FPGA 开发推出三款紧凑型、高性能开发套件,以丰富互联与扩展能力,加速从概念到原型的验证流程。
    的头像 发表于 03-19 16:06 368次阅读
    全新Altera Agilex<b class='flag-5'>开发套件</b>正式发布

    NVIDIA加速计算平台助力从地球到太空的AI应用

    NVIDIA 今日宣布,其最新一代加速计算平台正在开启太空创新的新时代,将为轨道数据中心 (ODC)、地理空间信息收集以及自主太空运行提供 AI 算力。
    的头像 发表于 03-18 14:44 580次阅读

    AI端侧部署开发(SC171开发套件V2-FAS)

    AI端侧部署开发(SC171开发套件V2-FAS) 序列 课程名称 视频课程时长 视频课程链接 课件链接 工程源码 1 Fibo AI Stack模型转化指南 27分19秒 https
    发表于 02-11 11:44

    利用NVIDIA Cosmos开放世界基础模型加速物理AI开发

    NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型(WFM)的更新,旨在加速物理 AI 模型的测试与验证数据生成。
    的头像 发表于 12-01 09:25 1486次阅读

    边缘计算中的AI加速器类型与应用

    人工智能正在推动对更快速、更智能、更高效计算的需求。然而,随着每秒产生海量数据,将所有数据发送至云端处理已变得不切实际。这正是边缘计算中AI加速器变得不可或缺的原因。这种专用硬件能够直
    的头像 发表于 11-06 13:42 1037次阅读
    边缘计算中的<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>类型与应用

    Cadence 借助 NVIDIA DGX SuperPOD 模型扩展数字孪生平台库,加速 AI 数据中心部署与运营

    人员将能够在 AI 工厂的构建中轻松部署世界领先的 AI 加速器。作为一款创新解决方案,Cadence Reality Digital Twin Platform 能够在物理实施之前,根据特定服务等级协议对
    的头像 发表于 09-15 15:19 1689次阅读

    Arm神经技术是业界首创在 Arm GPU 上增添专用神经加速器的技术,移动设备上实现PC级别的AI图形性能

    应用,该 AI 图形优化升级技术能够以每帧四毫秒的速度实现两倍的分辨率提升 开发者即刻就能通过业界首个神经图形的开放开发套件进行构建,其中包含虚幻引擎插件、模拟,以及 GitHub
    的头像 发表于 08-14 17:59 2950次阅读

    睿海光电以高效交付与广泛兼容助力AI数据中心800G光模块升级

    NVIDIA Quantum-2交换机等主流设备。 平滑扩展:与现有400G/100G设备无缝互通,降低数据中心升级成本。 多场景覆盖:从AI训练集群的“大象流”到AI推理的碎片化流量
    发表于 08-13 19:01

    加速AI未来,睿海光电800G OSFP光模块重构数据中心互联标准

    定义数据中心互联的新范式。 一、技术实力:800G OSFP光模块的卓越性能表现 睿海光电800G OSFP光模块系列采用行业领先的PAM4调制技术,具备以下核心优势: 超高速率 :单模传输速率达
    发表于 08-13 16:38

    Microchip推出Adaptec® SmartRAID 4300 系列加速器 提供安全的可扩展 NVMe® RAID 存储解决方案

    ,专为NVMe部署而设计。该系列加速器尤其适用于现代人工智能数据中心环境。在此类环境中,加速访问NVMe存储对于支持高强度工作负载
    的头像 发表于 08-06 16:31 1.9w次阅读
    Microchip推出Adaptec® SmartRAID 4300 系列<b class='flag-5'>加速器</b> 提供安全的可扩展 NVMe® RAID 存储解决方案

    NVIDIA RTX AI加速FLUX.1 Kontext现已开放下载

    NVIDIA RTX 与 NVIDIA TensorRT 现已加速 Black Forest Labs 的最新图像生成和编辑模型;此外,Gemma 3n 现可借助 RTX 和
    的头像 发表于 07-16 09:16 2219次阅读

    粒子加速器 —— 科技前沿的核心装置

    粒子加速器全称“荷电粒子加速器”,是一种利用电磁场在高真空环境中对带电粒子(如电子、质子、离子)进行加速和控制,使其获得高能量的特种装置。粒子加速器技术现已发展成为集高能物理、核物理、
    的头像 发表于 06-19 12:05 4205次阅读
    粒子<b class='flag-5'>加速器</b> —— 科技前沿的核心装置

    NVIDIA携手诺和诺德借助AI加速药物研发

    NVIDIA 宣布与诺和诺德开展合作,借助创新 AI 应用加速药物研发。此次合作也将支持诺和诺德与丹麦 AI 创新
    的头像 发表于 06-12 15:49 1520次阅读

    面向半定制AI基础架构的NVIDIA NVLink Fusion技术

    为了高效应对 AI 工作负载,数据中心正在被重构。这是一项非常复杂的工作,因此,NVIDIA 目前正在交付以 NVIDIA 机架级架构为单位的 AI
    的头像 发表于 06-06 14:59 1596次阅读
    面向半定制<b class='flag-5'>AI</b>基础架构的<b class='flag-5'>NVIDIA</b> NVLink Fusion技术