利用NVIDIA Fleet实现在边缘位置部署AI

大约 10 亿台摄像机——终极物联网（ IoT ）传感器——已经部署在世界各地的城市和空间，以帮助我们生活得更好、更安全。优化 AI 支持的视频分析对于无摩擦零售、优化库存管理、智能城市交通工程、工厂地面光学检查、医疗设施的患者护理等至关重要。

NVIDIA Metropolis 是一个应用程序框架、一套开发工具和合作伙伴生态系统，它将可视数据和人工智能结合在一起，以提高广泛行业的运营效率和安全性。

但大规模人工智能的发展之路是艰难的。

从定义需求、采购硬件、开发和微调软件、 IT 和安全审查，到在每个站点实际安装和更新系统和应用程序软件，这一过程艰巨、耗时且成本高昂。

当开发人员专注于构建 AI 应用程序时，他们的操作效果最好，并且不需要承担在边缘位置部署 AI 时可能出现的硬件、安全性和可伸缩性问题的支持责任。

图 1 。人工智能部署的典型时间表从 POC 到规模可能需要数月的时间。

NVIDIA Fleet 命令解决了这些问题，并使 AI 应用程序的部署变得容易。 Fleet Command 是一项交钥匙云服务，它允许任何技能级别的管理员通过跨分布式边缘基础设施安全地部署、管理和扩展 AI 来管理 AI 生命周期，所有这些都来自一个控制平面。跨边缘设备远程编排 AI 应用程序意味着 Fleet Command 可以为组织节省数周的规划和手动实施边缘基础设施的时间。

舰队指挥问题

最近，我们主持了一次Metropolis开发者会议，展示如何使用 Fleet Command 在边缘部署 vision AI 应用程序。可以查看网络研讨会。

数以百计的开发人员希望将他们的应用程序从 POC 转移到规模，与会者进行了热烈的讨论并参与其中。下面是一些最常见的问题和我们的答案。

舰队司令部如何帮助加速 AI 应用程序的部署？

舰队司令部是一个交钥匙解决方案，消除了构建和维护边缘软件平台的复杂性：

简化边缘 AI ： Fleet Command 消除了构建、操作和维护边缘软件平台的复杂性，为管理员提供了一个“无 IT ”测试和优化的解决方案，使他们只需点击几下就可以从软件安装转移到边缘部署。

优化的部署：任何技能级别的管理员都可以将应用程序部署和扩展到任意数量的位置。一键式资源调配将系统转变为人工智能设备，并消除了熟练 IT 技术人员前往边缘站点安装服务器的需要，从而加快了实现人工智能的时间 NSight 。

AI 生命周期管理：通过无线方式更新应用程序，轻松扩展其他应用程序，并监控各个应用程序之间的 AI 运行状况。弹性软件平台自动重启应用程序， MIG 在出现问题时对工作负载进行评估。详细的监控仪表盘和广泛的自动化流程使管理 AI 变得简单。

分层安全：从云到边缘，领先的安全协议确保应用程序数据始终受到保护，从而减轻了组织构建和运行这些功能的负担。一个安全的私人注册中心隔离了知识产权和传输中的加密，并在静止时保护了有价值的数据。

图 2 。使用 Fleet 命令，您的 edge Fleet 可以通过一个界面集中管理。

在 Fleet Command 部署应用程序需要满足哪些要求？

舰队司令部通过舵图在 Kubernetes 部署容器化应用程序。

Fleet Command 可以跟踪哪些指标？是否存在系统指标或是否可以从应用程序中提取数据？

除了系统和应用程序日志外， Fleet Command 还提供系统和位置运行状况以及部署状态警报。

我是否需要使用 Fleet Command 用户界面，或者可以使用 API 来完成？

合作伙伴可以利用舰队司令部 API 集成到其现有解决方案中，为部署 Edge AI （单一整合的 edge 计算平台）的组织提供支持。

服务器失去 Internet 连接时会发生什么情况？舰队司令部还能运作吗？

是的，部署在 Fleet Command 上的应用程序仍然可以在没有 Internet 连接的情况下运行。当与网络断开连接时，边缘服务器将继续运行并提供洞察力。唯一失去的功能是更新或控制这些系统的能力，直到在 Fleet Command 和边缘系统之间重新建立互联网连接。

Fleet Command 支持哪些硬件？

Fleet Command 要求在边缘站点使用 NVIDIA – 认证系统。这是所有 NVIDIA – 认证系统的综合列表。但是，建议部署专为边缘用例设计的系统。

有关根据您的需求配置系统规范的一般指南 NVIDIA – 认证系统配置指南。

我怎样才能看到舰队指挥的演示？

观看这个演示了解使用 Fleet Command 在几分钟内跨其边缘基础设施部署 AI 有多容易。

通过观看此按需大都会开发人员会议，了解更多关于 Fleet Command 的力量，以及它如何帮助您在边缘部署、管理和扩展 AI ，以数据怪物呈现的用例为特色。

关于作者

Tiffany Yeung 是 NVIDIA Edge 和企业计算解决方案的产品营销经理。 Tiffany 专注于利用 NVIDIA 边缘解决方案使医院、商店、仓库、工厂等实现创新。在 NVIDIA 之前， Tiffany 的背景是创业，她曾为许多财富 500 强公司提供咨询。

Troy Estes 是 NVIDIA Edge 和企业计算解决方案的产品营销经理。在加入 Edge & Enterprise 业务部门之前，特洛伊曾在自主汽车业务部门和 NVIDIA 电网产品集团从事营销活动和支持产品 GTM 。

审核编辑：郭婷