NVIDIA IGX平台加速实时边缘AI应用

实时边缘 AI 对于医疗、工业和科学计算至关重要，因为这些任务关键型应用需要即时数据处理、低延迟和高可靠性，以确保作出及时准确的决策。这些挑战不仅涉及硬件平台上的高带宽传感器处理和 AI 计算，还需要企业级 AI 软件来支持整个边缘计算软件堆栈。

NVIDIA IGX 专为工业和医疗环境而设计，可为企业提供边缘 AI 所需的性能、耐用性、安全性和保密性。借助 NVIDIA AI Enterprise 上的 GPU 加速计算，IGX 加速了各行业先进的 AI 解决方案的开发，并大幅降低时间和成本，使企业无需花费数年时间设计自定义系统和定制 AI 模型。

在 COMPUTEX 2024 上，IGX 进行了一次重大更新，引入生产就绪型 NVIDIA AI Enterprise IGX 并扩展了 IGX 系统。所有相关的改进都提供长达 10 年的硬件和软件支持，使企业能够提供安全可靠的 AI，以支持人机协作。

NVIDIA IGX 软件堆栈现已生产就绪

随着 NVIDIA IGX-SW 1.0 的公开发布，NVIDIA IGX 上的软件堆栈现已投入生产。您还可以获得 NVIDIA AI Enterprise IGX 的长期支持，并在 NVIDIA 的支持下放心地部署您的产品。

为满足对多模态生成式 AI 部署和高带宽信号处理日益增长的需求，此版本将 AI 计算能力扩展到 1705 TOPS。相比使用板上集成 iGPU，AI 性能提升了 7 倍。借助此类高性能 AI 计算，您可以轻松运行要求严苛的 AI 任务，并支持生成式 AI 应用。

此版本还提供一个简单易用的 Web 界面来安装所有固件，有效简化了安装过程：只需选择所需的固件，然后单击安装按钮。

从下载中心下载 NVIDIA IGX-SW 1.0 公开版本，所有软件堆栈均可免费用于开发和评估。

在生产方面，软件堆栈由 NVIDIA AI Enterprise IGX 提供支持，并通过 NVIDIA 专家提供企业级长期支持。订阅 NVIDIA AI Enterprise IGX 后，您可以访问以下选项：

生产分支：使用最新的 NVIDIA AI 堆栈，并利用最新的技术和优化。每 6 个月发布一次新的生产分支，每个分支维护 9 个月。这为零售和机器人等用例提供了一个理想选择，确保您可以引入最新的 AI 模型和生成式 AI 任务。

长期支持分支：版本锁定，维护和支持长达 10 年。新的长期支持分支每 2.5 年发布一次，包含新版本的堆栈。这对于医疗和科学计算等受监管行业来说是理想的选择。

这两个分支均可提供对安全漏洞、API 稳定性、错误修复的持续监控，并由 NVIDIA 专家和工程师提供技术支持和及时解决问题。有关更多信息，请参阅如何使用 NVIDIA AI Enterprise IGX 支持任务关键型边缘 AI。

首先，将固件、操作系统和计算堆栈下载到 NVIDIA IGX Orin 开发者套件。有关安装的更多信息，请参阅 NVIDIA IGX 用户指南。

要开始使用 NVIDIA AI Enterprise IGX，请申请 NVIDIA AI Enterprise IGX 软件试用版。

专为医疗、工业和机器人使用而设计的企业级应用框架

NVIDIA IGX 支持 NVIDIA 提供的所有用于边缘的 SDK、应用框架和工具。

图 . IGX Orin 硬件上的 NVIDIA 应用框架

它包括以下应用框架：

NVIDIA Holoscan 用于从边缘到云端的实时传感器处理

NVIDIA Metropolis 用于构建、部署和扩展视觉 AI 应用

NVIDIA Isaac 用于构建高性能机器人应用

使用 NGC 中的预训练模型缩短模型开发时间，使用合成数据生成器来创建用于模型训练的合成数据，并使用 NVIDIA TAO 工具套件快速训练和优化模型，以实现最佳模型性能。

多模态 AI 和生成式 AI 在处理非结构化数据和多样化环境方面变得越来越重要。

在医疗领域，医疗诊断、用于外科手术的 AI copilot、AI 手术机器人和用于患者护理的 AI 智能体现已成为可能。

在制造仪器中，可以进行实时晶圆检测和高带宽传感器处理。

在科学计算领域，雷达处理和射电天文学将由 AI 提供动力。

在工业机器人领域，AI 将为工厂自动化和机器人协作提供安全防护。

您可以在 Omniverse 中找到许多此类应用示例和生成式 AI 模型，在 /nvidia-holohub GitHub 库中也有相关资源。

通过 NVIDIA 认证系统扩展 IGX 系列

NVIDIA IGX Orin 平台引入了一款全新产品—— IGX Orin 500 系统模块。它为 OEM 提供了设计载板和自定义配置的灵活性，以满足客户需求。在不牺牲企业软件支持的情况下，IGX Orin 500 具有与 IGX Orin 700（此前名为 IGX Orin Boardkit）相同的 iGPU、CPU、内存和存储，并且能够通过附加 sMCU 来实现功能安全，适用于机器人和智能农业应用。

表 1. 主要特性比较

* 1705 TOPS = 248 TOPS（GPU）+1457 TOPS（dGPU）

通过使用 NVIDIA IGX Orin 500 设计指南，OEM 和 ODM 合作伙伴可以开始进行定制载板设计。对于所有 IGX 系统，OEM 完整系统都需要通过相同的 NVIDIA 认证流程，以确保获得企业级软件支持和最佳的 AI 软件性能。这种严格的测试和验证降低了部署可支持复杂、计算密集型生成式 AI 任务的专用基础设施所涉及的风险和时间。