0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助 NVIDIA 融合加速器开发套件加速数据中心 AI

NVIDIA英伟达 来源:NVIDIA 英伟达 作者:NVIDIA 英伟达 2021-11-16 16:12 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

现代数据中心变得越来越难以管理。应用程序和 PB 级日志数据之间有数十亿条可能的连接路径。静态规则不足以适应动态微服务的安全策略,而且人工已经无法应对数量庞大的日志数据的分析。

AI 是通往未来安全和自主管理式数据中心的唯一出路。

NVIDIA 融合加速器在业界率先推出 AI 增强型 DPU。它将 GPU 的强大计算能力与 DPU 的网络加速和安全优势相结合,为 AI 增强型数据中心管理创造了统一平台。融合加速器可将 AI 生成的规则应用于数据中心网络中的每个数据包,为实现实时安全和管理创造新的可能性。图像展示了将 BlueField-2 DPU 和 Ampere GPU 相结合的 NVIDIA 新型融合加速器。

在 NVIDIA GTC 大会上,我们推出了两款新型融合加速器。A100X 在单一模组中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 DPU。A30X 则融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有独特的能力,除了 BlueField-2 的卸载、隔离和加速网络功能,进一步拓展到 AI 推理和训练功能。

两款加速器都包含一个集成的 PCIe 交换机实现DPU 和 GPU 连接。集成交换机能够消除对主机资源的争用,实现线速 GPUDirect RDMA 性能。集成交换机还通过隔离 GPU 和网卡之间移动的数据来提高安全性。

AI 增强型 DPU

融合加速器支持两种运行模式:

标准模式 – BlueField-2 DPU 和 GPU 分别独立运行。

BlueField-X模式 – PCI 交换机进行了重新配置,GPU 将专用于 DPU,并且对于主机系统不可见。

在 BlueField-X 模式下,只有 DPU 上运行的操作系统可见到GPU。BlueField-X 模式在业界首创了一种新型加速器类型:GPU 加速的 DPU。图像展示了在 BlueField-X 模式下,主机服务器中的 CPU 连接到融合加速器。融合加速器的 PCIe 交换机连接到 CPU 和 DPU。而 GPU 仅通过 PCIe 交换机与 DPU连接。

在 BlueField-X 模式下,GPU 可以对流经 DPU 的数据运行 AI 模型,成为 “bump in the wire”。保障安全同时,无性能损耗。AI 模型无需消耗主机资源,实现完全加速。

BlueField-X 为网络安全、数据中心管理和 I/O 加速解锁新颖使用场景。例如,Morpheus 网络安全框架使用机器学习对以往无法识别的安全威胁进行有效处理。Morpheus 通过 DPU 从数据中心的各个服务器获取遥测数据,并将其发送到配备 GPU 的服务器进行分析。

有了 BlueField-X,AI 模型可以在每个服务器的融合加速器上直接本地运行。这使 Morpheus 能够更快地分析更多数据,同时消除代价很高的数据移动,并缩小恶意攻击面。由 BlueField-X 加速的 Morpheus 使用案例包括恶意软件检测、数据泄漏预防和动态防火墙规则创建等。

Morpheus 示例仅仅是 BlueField-X 实现加速的一种使用场景。我们的客户经常与我们分享一些我们尚未考虑到的新想法。为了对 AI 增强的网络进行更多创造性的探索,我们现正推出 NVIDIA 融合加速器开发套件。

结合此开发套件,我们为有意构建新一代加速 AI 网络应用的特定客户和合作伙伴提供 A30X 加速器的抢先体验计划。在边缘计算或数据中心管理中探索 BlueField-X 的新应用场景。以下例子为您做参考:

透明视频预处理 – Bump-in-the-wire 视频预处理(解密、交错、格式转换等),以提高 IVA 吞吐量和摄像头密度。

小基站 RU 解决方案 – RAN 信号处理聚合加速器,以增加商业 gNodeB 服务器上的用户密度和吞吐量。

计算存储 – Bump-in-the-wire 存储加密、索引和哈希,为长期存储主机数据准备处理卸载昂贵的 CPU 资源。

作弊检测 – 检测流式游戏服务中的恶意游戏/作弊

开始使用 NVIDIA 融合加速器开发套件

NVIDIA 融合加速器开发套件包含有结合 CUDA 和 NVIDIA DOCA 的示例应用程序,以及帮助安装、配置新型融合加速器的文档。最重要的是,可提供 A30X 及应用支持来换取用户的宝贵反馈。

要开始使用,只需在 NVIDIA 融合加速器开发套件网页上完成注册。获得批准后,一旦硬件准备好发货,将由工作人员主动联系。之后就可以开启新一代加速应用之旅了。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    836

    浏览量

    39710
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5099

    浏览量

    134420
  • 主机
    +关注

    关注

    0

    文章

    1047

    浏览量

    36427
  • 数据中心
    +关注

    关注

    16

    文章

    5515

    浏览量

    74628
  • DPU
    DPU
    +关注

    关注

    0

    文章

    407

    浏览量

    26177

原文标题:GTC21 | 借助 NVIDIA 融合加速器开发套件加速数据中心 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    利用NVIDIA Cosmos开放世界基础模型加速物理AI开发

    NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型(WFM)的更新,旨在加速物理 AI 模型的测试与验证数据生成。
    的头像 发表于 12-01 09:25 466次阅读

    边缘计算中的AI加速器类型与应用

    人工智能正在推动对更快速、更智能、更高效计算的需求。然而,随着每秒产生海量数据,将所有数据发送至云端处理已变得不切实际。这正是边缘计算中AI加速器变得不可或缺的原因。这种专用硬件能够直
    的头像 发表于 11-06 13:42 415次阅读
    边缘计算中的<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>类型与应用

    Cadence 借助 NVIDIA DGX SuperPOD 模型扩展数字孪生平台库,加速 AI 数据中心部署与运营

    人员将能够在 AI 工厂的构建中轻松部署世界领先的 AI 加速器。作为一款创新解决方案,Cadence Reality Digital Twin Platform 能够在物理实施之前,根据特定服务等级协议对
    的头像 发表于 09-15 15:19 1225次阅读

    加速AI未来,睿海光电800G OSFP光模块重构数据中心互联标准

    定义数据中心互联的新范式。 一、技术实力:800G OSFP光模块的卓越性能表现 睿海光电800G OSFP光模块系列采用行业领先的PAM4调制技术,具备以下核心优势: 超高速率 :单模传输速率达
    发表于 08-13 16:38

    Microchip推出Adaptec® SmartRAID 4300 系列加速器 提供安全的可扩展 NVMe® RAID 存储解决方案

    ,专为NVMe部署而设计。该系列加速器尤其适用于现代人工智能数据中心环境。在此类环境中,加速访问NVMe存储对于支持高强度工作负载
    的头像 发表于 08-06 16:31 1.8w次阅读
    Microchip推出Adaptec® SmartRAID 4300 系列<b class='flag-5'>加速器</b> 提供安全的可扩展 NVMe® RAID 存储解决方案

    NVIDIA携手诺和诺德借助AI加速药物研发

    NVIDIA 宣布与诺和诺德开展合作,借助创新 AI 应用加速药物研发。此次合作也将支持诺和诺德与丹麦 AI 创新
    的头像 发表于 06-12 15:49 965次阅读

    面向半定制AI基础架构的NVIDIA NVLink Fusion技术

    为了高效应对 AI 工作负载,数据中心正在被重构。这是一项非常复杂的工作,因此,NVIDIA 目前正在交付以 NVIDIA 机架级架构为单位的 AI
    的头像 发表于 06-06 14:59 1087次阅读
    面向半定制<b class='flag-5'>AI</b>基础架构的<b class='flag-5'>NVIDIA</b> NVLink Fusion技术

    首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手

    倍,可见天玑的AI开发者解决方案已经被开发者高度认可,天玑AI生态圈正在飞速成长起来。 联发科与OPPO深度合作,共同研发,借助天玑
    发表于 04-13 19:52

    是德科技推出AI数据中心构建

    是德科技(NYSE:KEYS)推出Keysight AI (KAI)数据中心构建,这是一款先进的软件套件,通过模拟真实工作负载来评估新算法、组件和协议对
    的头像 发表于 04-07 11:06 808次阅读

    适用于数据中心AI时代的800G网络

    和性能隔离能力,以保障不同用户任务互不干扰。 分布式AI计算与网络架构设计 分布式计算已成为AI训练的主流方式,通过将工作负载分配到多个GPU节点并行处理,以加速模型训练。这对数据中
    发表于 03-25 17:35

    NVIDIA加速的Apache Spark助力企业节省大量成本

    随着 NVIDIA 推出 Aether 项目,通过采用 NVIDIA 加速的 Apache Spark 企业得以自动加速数据中心规模的分析
    的头像 发表于 03-25 15:09 888次阅读
    <b class='flag-5'>NVIDIA</b><b class='flag-5'>加速</b>的Apache Spark助力企业节省大量成本

    Cadence 利用 NVIDIA Grace Blackwell 加速AI驱动的工程设计和科学应用

    融合设计专业知识与加速计算,推动科技创新、实现能效和工程生产力方面的突破性进展,引领全球生活新范式 内容提要 ● Cadence 借助 NVIDIA 最新 Blackwell 系统,将
    的头像 发表于 03-24 10:14 1216次阅读

    FPGA+AI王炸组合如何重塑未来世界:看看DeepSeek东方神秘力量如何预测......

    FPGA的硬件加速能力处理传感数据。• 低功耗设计:针对边缘设备和物联网应用,开发低功耗的FPGA解决方案,以满足严格的功耗限制。 4.借助
    发表于 03-03 11:21

    数据中心中的FPGA硬件加速器

      再来看一篇FPGA的综述,我们都知道微软包括国内的云厂商其实都在数据中心的服务中部署了FPGA,所以这篇论文就以数据中心的视角,来看下FPGA这个硬件加速器。 还是一样,想要论文
    的头像 发表于 01-14 10:29 1196次阅读
    <b class='flag-5'>数据中心</b>中的FPGA硬件<b class='flag-5'>加速器</b>

    NVIDIA将在越南开设首个研发中心以推动AI发展

    从事软件开发等工作,借助越南丰富的 STEM(科学、技术、工程和数学)工程师人才库,携手行业领袖、初创企业、政府机构、大学及学生,共同加速 AI 的应用。
    的头像 发表于 12-07 11:19 1397次阅读