0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Fleet新功能使部署Edge AI变得简单

星星科技指导员 来源:NVIDIA 作者:Troy Estes 2022-04-11 15:07 次阅读

NVIDIA Fleet Command是一种云服务,可跨分布式边缘基础设施安全部署、管理和扩展 AI 应用程序。自 7 月舰队司令部启动以来,已经实现了几个重要里程碑,并在 NVIDIA GTC 上展示。

Fleet 命令增加了远程控制台 2.0 、 MIG 支持、加密文件存储等功能

舰队司令部不断增加新功能。除了使平台更加健壮和安全外,还结合了来自客户和合作伙伴的反馈,使组织更容易在边缘开始使用人工智能

今天提供的新功能包括:

多实例 GPU ( MIG )支持:允许将 GPU 安全地划分为单独的 GPU 实例。

远程控制台 2.0 :无需额外端口,启动速度更快,以提供及时安全的远程访问。

安全 NFS 支持:允许使用现有的加密存储解决方案。

高级网络:支持代理、无 DHCP 的网络对 IP 地址更改的弹性以及云端的相应可观察性。

有了 NVIDIA LaunchPad ,用户完全可以免费体验 Fleet Command

在今年的 GTC 会议上,我们宣布了 NVIDIA LaunchPad 在全球范围内的可用性。

NVIDIA LaunchPad是一个让企业和组织能够立即、短期访问运行在加速计算上的 NVIDIA AI 的计划,以加速现代数据驱动应用程序的开发和部署。它允许您在可以购买和部署的同一个完整堆栈上快速测试和原型化整个人工智能工作流。

组织可以使用 LaunchPad 获得对舰队司令部的完全访问权,以体验免费部署和扩展 AI 。用户可以访问优化模型和应用程序的目录,以探索 AI 如何为他们的组织带来好处。他们还可以了解一种交钥匙云服务,用于在真实服务器上部署和监控真实应用程序,以及用于无缝调配和运行应用程序的加速边缘计算基础设施。

图 1 。 NVIDIA LaunchPad 允许用户试用 AI 开发的每个阶段,从数据准备到部署。

有兴趣开始使用 NVIDIA LaunchPad 上的 Fleet Command 吗?申请立即访问。

Mavenir 基于 NVIDIA AI-On-5G 平台发布 MaveEdge AI

英伟达 AI ON 5G 平台可用于构建连接智能工业 4 解决方案。该平台基于 NVIDIA Aeror 5G ,由舰队司令部管理,通过使企业能够在同一计算基础设施上部署 AI 和 5G ,在边缘提供互联智能。这种方法提供了灵活、高效、可靠和安全的智能边缘网络,重新定义了业务流程,并在边缘为 AI 提供了新的用例。

MavEdEi 是基于英伟达 AI ON 5G 平台的第一个 AI-ON 5G 解决方案。该解决方案通过 5G 无线电将 5G 连接到 AI-on-5G 硬件和软件,为制造业、采矿业、零售业和医疗保健行业的用例提供视频分析。

MAVedge AI 为 NVIDIA 的 AI-on-5G 平台增加了不断增长的生态系统。 NVIDIA 还与戴尔、富士康和软银等合作伙伴合作,加快在本地或云中构建 AI-on-5G 。

引入英伟达 A2 张量核 GPU 用于边缘推理

今年在 GTC 上发布的还有NVIDIA A2,用于入门级和边缘服务器。

NVIDIA A2 张量核心 GPU 是优化入门级推理,智能视频分析,和英伟达 AI 部署。这对于受空间和散热要求限制的边缘服务器尤其有用,例如 5G 边缘和工业环境。 A2 提供了在低功耗外壳中运行的轻巧外形,从 60W 到 40W 的 TDP ,非常适合任何边缘服务器。

A2的多功能性、紧凑的尺寸和低功耗超过了大规模边缘部署的要求,可立即升级现有入门级 CPU 服务器以处理推理。与 CPU 相比,A2 GPU 加速的服务器提供了高达37倍的推理性能,并且比以前的 CPU 部署效率高1.3倍 GPU 各代产品均以入门级价位销售。

A2 在领先的 OEM NVIDIA 认证系统中可用™, 它跨边缘、数据中心和云提供突破性的推理性能,确保启用 AI 的应用程序部署时使用更少的服务器、更少的电源和更低的成本。作为我们 NVIDIA 认证计划的一部分,基于 NVIDIA A2 GPU 的系统与 Fleet Command 兼容。

NVIDIA 认证系统的两个新类别

NVIDIA 认证系统现在包括边缘系统类别。这些系统经过认证,可提供在传统数据中心之外运行加速应用程序的能力,包括:

推理的优良性能:已经显示了英伟达 A30 系统在一系列推理工作量上提供领先的性能,正如 2021 年 9 月 MLPRF 基准测试结果所证明的。 A30 多实例 GPU ( MIG )支持还允许最多四个工作负载同时运行,并保证其自身的服务质量,从而最大限度地提高计算利用率和效率。

低功耗:新的 A2 GPU 将很快纳入 NVIDIA 认证系统计划。它提供入门级、低功耗、紧凑型加速,用于边缘 AI 和推理,并提供英伟达企业 GPU 组合的最小足迹。

安全性:对 Trusted Platform Module 功能的验证可实现安全引导、磁盘加密和数字签名应用程序的使用。

这是两类经认证的边缘系统。企业边缘系统旨在部署在受控环境中,如零售店。 Industrial edge 系统专为坚固的部署而设计,如高温环境。

Fleet Command 与所有经 NVIDIA 认证的系统兼容,包括 Enterprise Edge 和 Industrial Edge 系统。了解有关NVIDIA-Certified Systems的更多信息

新的合作伙伴意味着舰队司令部有了新的应用程序

数十个新合作伙伴已添加到我们的生态系统中,为企业提供数百种应用程序选择,以便使用 Fleet Command 在边缘部署。通过将我们的应用程序合作伙伴与构建边缘解决方案的客户联系起来,我们加快了人工智能的时间,并简化了可能需要数周或数月时间的流程。

一些合作伙伴包括Data Monsters,该公司正在使用计算机视觉进行工业检查和制造。Ironyun正在利用 AI 支持的视频分析进行安全、访问控制以及安全和搜索。Kinetic Vision正在为消费品包装企业的 AI 支持的计算机视觉构建端到端解决方案。

舰队司令部继续与客户和合作伙伴保持密切联系。要保持最新状态,请务必检查与舰队指挥和边缘计算相关的所有 GTC 会话。

关于作者

Troy Estes 是 NVIDIA Edge 和企业计算解决方案的产品营销经理。在加入 Edge & Enterprise 业务部门之前,特洛伊曾在自主汽车业务部门和 NVIDIA 电网产品集团从事营销活动和支持产品 GTM 。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4598

    浏览量

    101775
  • 计算机
    +关注

    关注

    19

    文章

    6653

    浏览量

    84606
  • 应用程序
    +关注

    关注

    37

    文章

    3138

    浏览量

    56434
收藏 人收藏

    评论

    相关推荐

    NVIDIA数字人技术加速部署生成式AI驱动的游戏角色

    NVIDIA 在 GDC 2024 大会上宣布,Inworld AI 等领先的 AI 应用程序开发者,正在使用 NVIDIA 数字人技术加速部署
    的头像 发表于 04-09 10:08 225次阅读
    <b class='flag-5'>NVIDIA</b>数字人技术加速<b class='flag-5'>部署</b>生成式<b class='flag-5'>AI</b>驱动的游戏角色

    Edge Impulse发布新工具,助 NVIDIA 模型大规模部署

    借助 Edge Impulse 和 NVIDIA TAO 工具包的协同效应,工程师得以快速构建并部署至边缘优化硬件(如上述型号)的计算机视觉模型。该平台还支持用户运用经由 GPU 优化的 NV
    的头像 发表于 03-25 16:00 316次阅读

    NVIDIA DOCA 2.5 长期支持版本发布

    开放的软件开发套件和运行环境,同时驱动 NVIDIA DOCA 开发者社区和生态合作的长足发展。 此次发布,NVIDIA DOCA 2.5 新版本引入了全新功能和增强功能,强
    的头像 发表于 12-26 18:25 201次阅读
    <b class='flag-5'>NVIDIA</b> DOCA 2.5 长期支持版本发布

    NVIDIA 在 Microsoft Azure 上推出面向全球企业和初创公司的生成式 AI Foundry 服务

    AI Enterprise 软件进行部署 NVIDIA 于今日推出一项 AI foundry 服务,助力企业和初创公司在 Microsoft Azure 上开发、调优和
    的头像 发表于 11-16 21:15 299次阅读

    NVIDIA 在 Microsoft Azure 上推出面向全球企业和初创公司的 生成式 AI Foundry 服务

    AI Enterprise 软件进行部署       Microsoft Ignite — 2023 年 11 月 15 日 — NVIDIA 于今日推出一项 AI foundry
    发表于 11-16 14:13 146次阅读
    <b class='flag-5'>NVIDIA</b> 在 Microsoft Azure 上推出面向全球企业和初创公司的 生成式 <b class='flag-5'>AI</b> Foundry 服务

    周四研讨会预告 | 注册报名 NVIDIA AI Inference Day - 大模型推理线上研讨会

    由 CSDN 举办的 NVIDIA AI Inference Day - 大模型推理线上研讨会,将帮助您了解 NVIDIA 开源大型语言模型(LLM)推理加速库 TensorRT-LLM  及其
    的头像 发表于 10-26 09:05 199次阅读

    NVIDIA AI 现已在 Oracle Cloud Marketplace 推出

    只需点点手指,即可访问高性能加速计算和软件,以运行安全、稳定且得到支持的生产级 AI。 这一业内首创的扩展为 Oracle Cloud 上的端到端开发和部署带来了新功能。企业可以从 Oracle Cloud Marketplac
    的头像 发表于 10-24 10:30 242次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> 现已在 Oracle Cloud Marketplace 推出

    全球领先系统制造商推出 NVIDIA AI 就绪型服务器,为企业大幅提升生成式 AI 性能

    Private AI Foundation with NVIDIA ,帮助企业使用自有业务数据来定制和部署生成式 AI 应用。 NVIDIA
    的头像 发表于 08-23 19:10 382次阅读

    SIGGRAPH 2023 | Shutterstock 通过 NVIDIA Picasso 将生成式 AI 应用于 3D 场景

    NVIDIA 云代工厂的最新功能允许创建逼真的自定义 8K 360° HDRi 环境贴图,加快场景开发的速度。 想象一下,借助 Shutterstock 的先进工具,创作者可以在生成式 AI 的帮助
    的头像 发表于 08-10 20:15 294次阅读

    Ai 部署的临界考虑电子指南

    虽然GPU解决方案对训练,AI部署需要更多。 预计到2020年代中期,人工智能行业将增长到200亿美元,其中大部分增长是人工智能推理。英特尔Xeon可扩展处理器约占运行AI推理的处理器单元的70
    发表于 08-04 07:25

    使用 NVIDIA TAO Toolkit 5.0 体验最新的视觉 AI 模型开发工作流程

    ,在短时间内达到最先进的精度和生产级吞吐量。 NVIDIA 发布了 NVIDIA TAO 套件 5.0 ,带来了 AI 模型开发方面的突破性功能提升。
    的头像 发表于 07-31 20:45 417次阅读
    使用 <b class='flag-5'>NVIDIA</b> TAO Toolkit 5.0 体验最新的视觉 <b class='flag-5'>AI</b> 模型开发工作流程

    NVIDIA Omniverse让AI训练变得更加简单易用

    Rendered.aiNVIDIA Omniverse Replicator 集成到其合成数据生成平台,使 AI 训练变得更加简单易用
    的头像 发表于 07-24 09:14 838次阅读
    <b class='flag-5'>NVIDIA</b> Omniverse让<b class='flag-5'>AI</b>训练<b class='flag-5'>变得</b>更加<b class='flag-5'>简单</b>易用

    使用Edge Impulse和Nvidia Jetson的面罩检测器

    电子发烧友网站提供《使用Edge Impulse和Nvidia Jetson的面罩检测器.zip》资料免费下载
    发表于 06-26 11:29 1次下载
    使用<b class='flag-5'>Edge</b> Impulse和<b class='flag-5'>Nvidia</b> Jetson的面罩检测器

    NVIDIA 与微软合作加速企业就绪的生成式 AI

    NVIDIA AI Enterprise 与 Azure 机器学习集成,提供端到端云平台,供开发者构建、部署和管理大型语言模型的 AI 应用 微软 Build 大会——太平洋时间 20
    的头像 发表于 05-25 09:15 382次阅读
    <b class='flag-5'>NVIDIA</b> 与微软合作加速企业就绪的生成式 <b class='flag-5'>AI</b>

    戴尔科技集团与 NVIDIA 联合发布用于安全、本地化部署生成式 AI 的 Project Helix

    •  Project Helix 使企业能够轻松构建和部署值得信赖的生成式 AI •  戴尔和 NVIDIA 的基础设施与软件包含内置的数据安全功能,用于本地生成式
    的头像 发表于 05-25 09:15 366次阅读