利用NVIDIA EGX平台在边缘部署和加速人工智能

边缘计算已经存在了很长一段时间，但最近由于物联网、 5G 和人工智能三大趋势的融合而成为热门话题。

物联网设备变得越来越智能，功能也越来越强大，增加了可以部署在其上的应用程序的广度和可以部署在其中的环境。同时， 5G 能力的最新进展让人们相信，这项技术很快就能将物联网设备无线连接到它们部署的任何地方。事实上，分析师预测，到 2023 年， 5G 连接设备将超过 10 亿台。最后，人工智能成功地从研究项目转向实际应用，改变了零售商、工厂、医院等许多行业的格局。

那么，这些趋势的趋同意味着什么呢？部署的物联网设备数量激增。

据专家估计，目前安装的物联网设备超过 300 亿台， Arm 预测，到 2035 年，将有超过 1 万亿台设备。由于部署了如此多的物联网设备，收集的数据量猛增，给当前的云基础设施带来了压力。企业很快发现自己处于这样的境地：它们部署的人工智能应用程序需要大量数据来生成引人注目的见解，但它们的云基础设施处理数据和将见解发送回边缘的延迟是不可持续的。所以他们转向边缘计算。

通过将处理能力放在传感器收集数据的位置，组织可以减少应用程序交付见解的延迟。对于某些情况，例如工厂中的自动机器，延迟减少是一个关键的安全组件。

这就是 NVIDIA 的用武之地。 NVIDIA Edge AI 解决方案为在 Edge 部署 AI 提供了一个完整的端到端 AI 平台。它从 NVIDIA 认证系统开始。

NVIDIA – 认证系统 将 NVIDIA GPU 的计算能力与 NVIDIA 的安全高带宽、低延迟网络解决方案结合起来。经过性能、功能、可扩展性和安全性验证— IT 团队确保从 NGC 目录 、 NVIDIA 的 GPU 优化的 HPC 和 AI 软件集线器部署的 AI 工作负载以最佳性能运行。这些服务器由企业级支持提供支持，包括直接访问 NVIDIA 专家，最大限度地减少系统停机时间，最大限度地提高用户生产效率。

为了构建和加速在 NVIDIA 认证系统上运行的应用程序， NVIDIA 提供了一个广泛的 SDK 工具包、应用程序框架和其他工具，旨在帮助开发人员为每个行业构建 AI 应用程序。这些包括预先训练的模型、训练脚本、优化的框架容器、推理引擎等等。有了这些工具，无论工作负载或行业如何，组织都可以在构建独特的人工智能应用程序方面取得领先。

一旦组织有了加速 AI 的硬件和要部署的 AI 应用程序，下一步就是确保有适当的基础设施来管理和扩展应用程序。如果没有一个平台来管理边缘的人工智能，组织将面临每次发布新的软件更新时手动更新边缘位置系统的困难和昂贵的任务。

NVIDIA 舰队司令部 是一种云服务，它跨分布式边缘基础设施安全地部署、管理和扩展人工智能应用程序。舰队司令部专为人工智能打造，是人工智能生命周期管理的一个交钥匙解决方案，提供了优化的部署、分层的安全性和详细的监控功能，因此组织可以在几分钟内从零到人工智能。

完整的边缘人工智能解决方案为组织提供了构建端到端边缘部署所需的工具。全球第一大供应链解决方案提供商 KION Group 使用 NVIDIA 解决方案更快、更高效地完成订单。

关于作者

Troy Estes 是 NVIDIA Edge 和企业计算解决方案的产品营销经理。在加入 Edge & Enterprise 业务部门之前，特洛伊曾在自主汽车业务部门和 NVIDIA 电网产品集团从事营销活动和支持产品 GTM 。

审核编辑：郭婷