0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助 NVIDIA 融合加速器开发套件加速数据中心 AI

NVIDIA英伟达 来源:NVIDIA 英伟达 作者:NVIDIA 英伟达 2021-11-16 16:12 次阅读

现代数据中心变得越来越难以管理。应用程序和 PB 级日志数据之间有数十亿条可能的连接路径。静态规则不足以适应动态微服务的安全策略,而且人工已经无法应对数量庞大的日志数据的分析。

AI 是通往未来安全和自主管理式数据中心的唯一出路。

NVIDIA 融合加速器在业界率先推出 AI 增强型 DPU。它将 GPU 的强大计算能力与 DPU 的网络加速和安全优势相结合,为 AI 增强型数据中心管理创造了统一平台。融合加速器可将 AI 生成的规则应用于数据中心网络中的每个数据包,为实现实时安全和管理创造新的可能性。图像展示了将 BlueField-2 DPU 和 Ampere GPU 相结合的 NVIDIA 新型融合加速器。

在 NVIDIA GTC 大会上,我们推出了两款新型融合加速器。A100X 在单一模组中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 DPU。A30X 则融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有独特的能力,除了 BlueField-2 的卸载、隔离和加速网络功能,进一步拓展到 AI 推理和训练功能。

两款加速器都包含一个集成的 PCIe 交换机实现DPU 和 GPU 连接。集成交换机能够消除对主机资源的争用,实现线速 GPUDirect RDMA 性能。集成交换机还通过隔离 GPU 和网卡之间移动的数据来提高安全性。

AI 增强型 DPU

融合加速器支持两种运行模式:

标准模式 – BlueField-2 DPU 和 GPU 分别独立运行。

BlueField-X模式 – PCI 交换机进行了重新配置,GPU 将专用于 DPU,并且对于主机系统不可见。

在 BlueField-X 模式下,只有 DPU 上运行的操作系统可见到GPU。BlueField-X 模式在业界首创了一种新型加速器类型:GPU 加速的 DPU。图像展示了在 BlueField-X 模式下,主机服务器中的 CPU 连接到融合加速器。融合加速器的 PCIe 交换机连接到 CPU 和 DPU。而 GPU 仅通过 PCIe 交换机与 DPU连接。

在 BlueField-X 模式下,GPU 可以对流经 DPU 的数据运行 AI 模型,成为 “bump in the wire”。保障安全同时,无性能损耗。AI 模型无需消耗主机资源,实现完全加速。

BlueField-X 为网络安全、数据中心管理和 I/O 加速解锁新颖使用场景。例如,Morpheus 网络安全框架使用机器学习对以往无法识别的安全威胁进行有效处理。Morpheus 通过 DPU 从数据中心的各个服务器获取遥测数据,并将其发送到配备 GPU 的服务器进行分析。

有了 BlueField-X,AI 模型可以在每个服务器的融合加速器上直接本地运行。这使 Morpheus 能够更快地分析更多数据,同时消除代价很高的数据移动,并缩小恶意攻击面。由 BlueField-X 加速的 Morpheus 使用案例包括恶意软件检测、数据泄漏预防和动态防火墙规则创建等。

Morpheus 示例仅仅是 BlueField-X 实现加速的一种使用场景。我们的客户经常与我们分享一些我们尚未考虑到的新想法。为了对 AI 增强的网络进行更多创造性的探索,我们现正推出 NVIDIA 融合加速器开发套件。

结合此开发套件,我们为有意构建新一代加速 AI 网络应用的特定客户和合作伙伴提供 A30X 加速器的抢先体验计划。在边缘计算或数据中心管理中探索 BlueField-X 的新应用场景。以下例子为您做参考:

透明视频预处理 – Bump-in-the-wire 视频预处理(解密、交错、格式转换等),以提高 IVA 吞吐量和摄像头密度。

小基站 RU 解决方案 – RAN 信号处理聚合加速器,以增加商业 gNodeB 服务器上的用户密度和吞吐量。

计算存储 – Bump-in-the-wire 存储加密、索引和哈希,为长期存储主机数据准备处理卸载昂贵的 CPU 资源。

作弊检测 – 检测流式游戏服务中的恶意游戏/作弊

开始使用 NVIDIA 融合加速器开发套件

NVIDIA 融合加速器开发套件包含有结合 CUDA 和 NVIDIA DOCA 的示例应用程序,以及帮助安装、配置新型融合加速器的文档。最重要的是,可提供 A30X 及应用支持来换取用户的宝贵反馈。

要开始使用,只需在 NVIDIA 融合加速器开发套件网页上完成注册。获得批准后,一旦硬件准备好发货,将由工作人员主动联系。之后就可以开启新一代加速应用之旅了。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    736

    浏览量

    36546
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4392

    浏览量

    126520
  • 主机
    +关注

    关注

    0

    文章

    894

    浏览量

    34585
  • 数据中心
    +关注

    关注

    15

    文章

    4160

    浏览量

    69793
  • DPU
    DPU
    +关注

    关注

    0

    文章

    292

    浏览量

    23965

原文标题:GTC21 | 借助 NVIDIA 融合加速器开发套件加速数据中心 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一种重要的实验设备,用于研究粒子物理学、核物理学等领域。其主要原理是通过电场和磁场的作用,对带电粒子进行加速,在高速运动过程中使其获得较大的动
    的头像 发表于 12-18 13:52 824次阅读

    低功耗下,高能效AI加速器如何设计?

    如果在数据中心和边缘设备中部署上人工智能(AI加速器,那么它们将能够快速处理PB级的数据量,还能帮助克服传统的冯·诺依曼瓶颈。
    的头像 发表于 10-26 09:18 851次阅读

    AI加速器架构设计与实现》+第2章的阅读概括

    首先感谢电子发烧友论坛提供的书籍和阅读评测的机会。 拿到书,先看一下封面介绍。这本书的中文名是《AI加速器架构设计与实现》,英文名是Accelerator Based on CNN Design
    发表于 09-17 16:39

    AI加速器架构设计与实现》+学习和一些思考

    AI加速器设计的学习和一些思考 致谢 首先感谢电子发烧友论坛提供的书籍 然后为该书打个广告吧,32K的幅面,非常小巧方便,全彩印刷,质量精良,很有质感。 前言 设计神经网络首先要考虑的几个问题
    发表于 09-16 11:11

    Alveo U200和U250数据中心加速器数据手册

    电子发烧友网站提供《Alveo U200和U250数据中心加速器数据手册.pdf》资料免费下载
    发表于 09-15 11:45 0次下载
    Alveo U200和U250<b class='flag-5'>数据中心</b><b class='flag-5'>加速器</b>卡<b class='flag-5'>数据</b>手册

    Alveo U50数据中心加速器数据手册

    电子发烧友网站提供《Alveo U50数据中心加速器数据手册.pdf》资料免费下载
    发表于 09-15 11:44 0次下载
    Alveo U50<b class='flag-5'>数据中心</b><b class='flag-5'>加速器</b>卡<b class='flag-5'>数据</b>手册

    Alveo U280 ES1数据中心加速器卡用户指南

    电子发烧友网站提供《Alveo U280 ES1数据中心加速器卡用户指南.pdf》资料免费下载
    发表于 09-15 11:32 0次下载
    Alveo U280 ES1<b class='flag-5'>数据中心</b><b class='flag-5'>加速器</b>卡用户指南

    Alveo U50数据中心加速器卡安装指南

    电子发烧友网站提供《Alveo U50数据中心加速器卡安装指南.pdf》资料免费下载
    发表于 09-15 11:17 0次下载
    Alveo U50<b class='flag-5'>数据中心</b><b class='flag-5'>加速器</b>卡安装指南

    Alveo数据中心加速器卡入门指南

    电子发烧友网站提供《Alveo数据中心加速器卡入门指南.pdf》资料免费下载
    发表于 09-15 10:31 0次下载
    Alveo<b class='flag-5'>数据中心</b><b class='flag-5'>加速器</b>卡入门指南

    VCK5000数据中心加速开发套件硬件安装指南

    电子发烧友网站提供《VCK5000数据中心加速开发套件硬件安装指南.pdf》资料免费下载
    发表于 09-14 14:33 4次下载
    VCK5000<b class='flag-5'>数据中心</b><b class='flag-5'>加速</b><b class='flag-5'>开发套件</b>硬件安装指南

    Alveo U30数据中心加速器数据手册

    电子发烧友网站提供《Alveo U30数据中心加速器数据手册.pdf》资料免费下载
    发表于 09-13 09:15 0次下载
    Alveo U30<b class='flag-5'>数据中心</b><b class='flag-5'>加速器</b>卡<b class='flag-5'>数据</b>手册

    使用 NVIDIA DOCA 2.2 加速数据中心工作负载和 AI 应用程序

    数据中心的创新,实现了应用程序的快速部署。 凭借全面的功能,NVIDIA DOCA 可为基于 BlueField DPU 进行开发开发人员提供大规模
    的头像 发表于 09-05 19:40 360次阅读
    使用 <b class='flag-5'>NVIDIA</b> DOCA 2.2 <b class='flag-5'>加速</b><b class='flag-5'>数据中心</b>工作负载和 <b class='flag-5'>AI</b> 应用程序

    【书籍评测活动NO.18】 AI加速器架构设计与实现

    经验总结图解NPU算法、架构与实现,从零设计产品级加速器当前,ChatGPT和自动驾驶等技术正在为人类社会带来巨大的生产力变革,其中基于深度学习和增强学习的AI计算扮演着至关重要的角色。新的计算范式需要
    发表于 07-28 10:50

    数据中心 AI 加速器:当前一代和下一代

    数据中心 AI 加速器:当前一代和下一代演讲ppt分享
    发表于 07-14 17:15 0次下载

    AI数据中心:PCIe 6.0,你是懂加速

    )6.0在AI、HPC和数据中心中越来越受欢迎。PCIe 6.0运行速度极快,达到64GT/s,是上一代的两倍。目前,网络服务器、固态驱动器、交换机和AI加速器都已率先采用PCIe 6
    的头像 发表于 07-12 17:50 1230次阅读