NVIDIA Jetson Xavier NX开发者套件的应用

NVIDIA 发布了基于Jetson Xavier NX模块的NVIDIA Jetson Xavier NX 开发者套件。Jetson Xavier NX 以紧凑的外形尺寸提供高达 21 TOPS 的计算，功率低于 15W，为边缘 AI 设备和自主机器带来服务器级性能和云原生工作流。

借助 Jetson Xavier NX 开发人员套件，您可以创建令人惊叹的人工智能应用程序，并将深度神经网络 （DNN） 模型和流行的机器学习框架快速部署到该领域。NVIDIA JetPack 4.4 Developer Preview的初始软件支持包括 CUDA Toolkit 10.2 和 cuDNN 8.0、TensorRT 7.1 和 DeepStream 5.0 的预览版，以及用于机器学习和预训练 DNN 模型的新 Docker 容器。

Jetson Xavier NX 基于 NVIDIA 开创性的 Xavier SoC，可以并行运行多个复杂模型和多个高清传感器流。它包括以下功能：

具有 48 个张量核心的集成 NVIDIA Volta 384 核 Volta GPU

两个 NVIDIA 深度学习加速器引擎

七向 VLIW 视觉加速器

六核 NVIDIA Carmel 64 位 ARMv8.2 CPU

8 GB 128 位 LPDDR4x

为了进一步简化边缘 AI 应用程序在生产环境中的部署，NVIDIA 为 Jetson 带来了云原生技术，包括基于 Docker 的容器化以及硬件直通和 Kubernetes 等编排服务，以及可从 NVIDIA NGC 注册中心获得的预训练模型和容器映像。

Jetson Xavier NX 开发者套件

Jetson Xavier NX 开发套件捆绑了一个开源参考载板和预组装的散热器/风扇，如图 2 所示，包括一个 19V 电源和基于 M.2 的 802.11 WLAN+BT 模块。除了可启动的 microSD 卡插槽外，载体底部还提供了一个 M.2 Key-M NVMe 插槽，用于扩展高速存储。

由于 Xavier NX 模块向后兼容 Jetson Nano （B01），它们的载板有一些共同点——还包括双 MIPI CSI 摄像头连接器，以及四个 USB 3.1 端口、HDMI、DisplayPort、千兆以太网和一个 40-引脚 GPIO 头。

套件载板的主要特性和接口如下表 1 所示。有关 Jetson Xavier NX 计算模块的核心处理能力和规格的更多信息，请参阅介绍 Jetson Xavier NX，世界上最小的 AI 超级计算机帖子和Jetson Xavier NX 模块数据表。

JetPack 4.4 开发者预览版

NVIDIA JetPack SDK 包含用于在 Jetson 上构建 AI 应用程序的库、工具和核心操作系统。JetPack 4.4 开发者预览版增加了对 Jetson Xavier NX 的支持。除了表 2 中显示的其他组件外，它还包括 CUDA Toolkit 10.2 以及 cuDNN 8.0、TensorRT 7.1、DeepStream 5.0 和用于部署云原生服务的 NVIDIA Container Runtime 的预览版。用于流行机器的预构建包安装程序除了 NGC 上的 JetPack 新框架容器外，Jetson Zoo还提供 TensorFlow 和 PyTorch 等学习框架。

NVIDIA JetPack 4.4 开发者预览版

Linux For Tegra R32.4.2Ubuntu 18.04 LTS aarch64

CUDA 工具包10.2cuDNN 8.0 DP

张量RT 7.1 DPGStreamer 1.14.5

VisionWorks 1.6OpenCV 4.1.1

DeepStream 5.0 DPVPI 0.2 DP

OpenGL 4.6 / GLES 3.2伏尔甘 1.2

L4T 多媒体 API R32.4.2L4T阿格斯相机 API 0.97

NVIDIA Nsight 系统2020.2NVIDIA Nsight 显卡2020.1

NVIDIA SDK 管理器1.1.0NVIDIA 容器运行时1.0.1

表 2. NVIDIA JetPack 4.4 Developer Preview SDK 中可用的软件组件。

下载 适用于 Jetson Xavier NX、Jetson AGX Xavier、Jetson TX1/TX2 和 Jetson Nano 的JetPack 4.4 开发者预览版。收到新的 Jetson Xavier NX 开发工具包后，按照入门指南中的说明，用 JetPack 映像刷写您的 microSD 卡。

此开发者预览版可用于启动和运行 Jetson Xavier NX 开发者套件并开始应用程序开发，而生产的 JetPack 4.4 SDK 计划于今年夏天晚些时候发布。安装 JetPack 后，您可以跟随一些 AI 驱动的Jetson 社区项目。

深度学习推理基准

Jetson 可用于将各种流行的 DNN 模型和 ML 框架部署到具有高性能推理的边缘，用于实时分类和对象检测、姿势估计、语义分割和自然语言处理 （NLP） 等任务。

JetPack SDK 和 NVIDIA CUDA-X 支持 Jetson 和 NVIDIA 独立 GPU 通用，这意味着您可以轻松地将性能和尺寸、重量和功耗 （SWaP） 消耗降至 5W，而无需重新编写应用程序。 图 3 显示了使用 JetPack 4.4 Developer Preview 和 TensorRT 7.1 在 Jetson Nano、Jetson TX2、Jetson Xavier NX 和 Jetson AGX Xavier 上流行的视觉 DNN 的推理基准。这些结果可以通过运行 GitHub 上的 open jetson_benchmarks项目来重现。

图 3. Jetson 系列中使用 TensorRT 的各种基于视觉的 DNN 模型的推理性能。

在 Jetson Xavier NX 和 Jetson AGX Xavier 上，NVIDIA 深度学习加速器 （NVDLA） 引擎和 GPU 以 INT8 精度同时运行，而在 Jetson Nano 和 Jetson TX2 上，GPU 以 FP16 精度运行。Jetson Xavier NX 的性能比 Jetson TX2 高出多达 10 倍，功率相同，占用空间减少 25%。

在这些基准测试中，每个平台都以最高性能运行（Jetson AGX Xavier 为 MAX-N 模式，Xavier NX 和 TX2 为 15W，Nano 为 10W）。这些基于视觉的任务的最大吞吐量是在批量大小不超过 15 毫秒的延迟阈值时获得的。— 否则，对于平台超过此延迟阈值的网络，批量大小为 1。这种方法在实时应用程序的确定性低延迟要求和多流用例场景的最大性能之间提供了平衡。

我们还提供了BERT在问答方面的基准测试结果。BERT 是一种多功能架构，因其在多个 NLP 任务中的成功应用而越来越受欢迎，包括 QA、意图分类、情感分析、翻译、名称/实体识别、释义、推荐系统、自动完成等。

BERT 传统上过于复杂，无法在本地部署板载边缘设备，尤其是 BERT Large 变体。但是，由于 TensorRT 中包含针对 BERT 的 Tensor Core 优化，BERT 可以轻松地在 Jetson Xavier NX 和 Jetson AGX Xavier 上运行。

将 BERT 部署到边缘对于低延迟、智能人机交互 （HMI） 和对话式 AI 很有用，如本文后面的多容器演示的聊天机器人部分，它还在本地执行自动语音识别 （ASR）并且不依赖于云连接。

图 4. BERT Base 和 BERT Large 在问答时的运行时性能，对 NLP 任务使用 50 毫秒的延迟阈值。

图 4 显示了 BERT Base 和 BERT Large 在问答方面的运行时性能，对 NLP 任务使用 50 毫秒的延迟阈值。这些结果以每秒的序列来衡量，其中每个文本序列都是 BERT 回答的查询或问题。Jetson 上的 BERT 性能为用户提供近乎即时的反馈，延迟低至 5.9 毫秒。这允许 BERT 处理与其他实时处理流（例如视频）同时执行。

将云原生方法带到边缘

到目前为止，嵌入式和边缘设备的软件一直被编写为单片系统。升级单一软件映像的复杂性增加了出现错误的风险，并使更新的节奏难以加快。这对于具有 AI 的边缘设备来说尤其成问题，因为它需要频繁更新以维持快速的能力改进。现代对敏捷能力和持续创新（零停机时间）的期望要求改变嵌入式和边缘设备软件的开发和部署方式。

在边缘采用云原生范例，如微服务、容器化和容器编排是前进的方向。

微服务架构、容器化和编排使云应用程序能够摆脱单一工作流的约束。现在，Jetson 正在将云原生转型理念带入 AI 边缘设备。

Jetson 是领先的 AI 边缘计算平台，拥有近 50 万开发人员。它由 JetPack SDK 提供支持，具有与全球数据中心和工作站相同的 CUDA-X 加速计算堆栈和 NVIDIA Container Runtime。

借助 Jetson 的多个开发和部署容器、容器化框架和托管在NVIDIA NGC上的预训练 AI 模型，它可以作为 AI 应用程序开发的构建块。最新的 Jetson Xavier NX 以尽可能小的外形尺寸实现功能齐全的多模式 AI 应用程序。

我们欢迎云原生技术，这些技术使客户具有扩展业务所需的生命周期敏捷性。可扩展的软件开发加快了上市时间。为什么？因为当您不必同时更新其他应用程序组件时，更新产品生命周期变得不那么繁重。

多容器演示

Jetson Xavier NX的 NVIDIA多容器演示展示了使用云原生方法开发和部署服务机器人 AI 应用程序的过程。服务机器人是自主机器人，通常与零售、酒店、医疗保健或仓库中的人员进行交互。

视频。Jetson Xavier NX 的云原生多容器演示，并行运行七个深度学习模型。

考虑一个服务机器人，其目的是通过与购物者互动来改善零售百货商店的客户服务。如果机器人能够执行许多计算任务，包括人类识别、交互检测、人体姿态检测、语音检测和自然语言处理，它只能为客户查询提供有用的答案。机器人必须运行支持这些功能所需的多个 AI 模型。

借助云原生方法，人工智能模型可以独立开发、容器化并包含所有依赖项，并部署到任何 Jetson 设备上。

该演示在 Jetson Xavier NX 上同时运行四个容器，其中包含七个深度学习模型，包括姿势估计、面部和凝视检测、人数统计、语音识别和 BERT 问答。结果是，这些服务构建块容器可以轻松修改和重新部署而不会中断，从而提供零停机时间和无缝更新体验。

Jetson Xavier NX 的计算能力使您能够一次运行所有这些容器，而不会牺牲跨多个传感器数据流的实时性能。您可以使用托管在 NGC 上的容器从NVIDIA-AI-IOT/jetson-cloudnative-demo GitHub 存储库下载演示。

关于作者

Dustin 是 NVIDIA Jetson 团队的一名开发人员推广员。Dustin 拥有机器人技术和嵌入式系统方面的背景，喜欢在社区中提供帮助并与 Jetson 合作开展项目。您可以在NVIDIA 开发者论坛或GitHub 上找到他。

Suhas Sheshadri 是 NVIDIA 的产品经理，专注于 Jetson 软件。他之前曾在 NVIDIA 的自动驾驶团队工作，为 NVIDIA Drive 平台优化系统软件。在空闲时间，Suhas 喜欢阅读有关量子物理学和博弈论的书籍。

Sarah Todd 是一名产品营销经理，专注于 Metropolis 解决方案的 GTM 战略，促进跨行业的应用程序集成。此前，Sarah 曾在 Autonomous Machines 团队担任营销传播经理，该团队支持 Jetson、Isaac、DeepStream、TAO Toolkit 等 NVIDIA 产品。

审核编辑：郭婷