使用Mavenir和NVIDIA Edge AI加速智能视频分析

在过去的 15 年中，越来越多的企业将其传统的 IT 应用程序从本地迁移到公共云。这场革命的第一阶段，你可以称之为“企业云转型”，它让企业从云的规模、专业知识和灵活性中获益。这场革命的第二阶段“边缘人工智能云转型”正在发生，它是由物联网、 5G 、边缘计算和人工智能共同推动的。它为新的 边缘 AI 服务打开了一个可能的世界，将改变许多行业。企业和政府将通过提供一系列新服务来获得 边缘 AI 的价值，包括智能城市、自主汽车、工业 4 .0 、智能零售和远程医疗。

在一个数千亿设备产生可操作数据的世界里，网络架构需要一个范式的转变。 5G 的兴起带来了更高的数据速度和执行网络切片的能力，这使得网络即服务能够提供各种边缘应用和服务。由于许多边缘服务依赖于超低延迟链路，它们不适合在集中位置处理所有数据的传统云 IT 方法。因此，边缘计算的兴起，在这种计算中，数据的处理更接近产生数据的设备和使用它的最终用户或消费者。边缘计算优化了带宽利用率，减少了延迟，并确保了这些新服务更大的隐私性。这场革命的新阶段是由人工智能推动的，人工智能推动了边缘数据中心的创新，从传感器的原始数据中产生价值，从而获得实时见解。因此，这些未来的应用被称为边缘人工智能服务。

NVIDIA 与 马维尼尔 合作，为 智能视频分析（ IVA ） 构建了一个加速且高效的 Edge AI 解决方案。 IVA 应用框架，如 NVIDIA 大都市 可以理解摄像机和传感器生成的大量数据。它们通过提供智能交通和停车系统为智能城市提供动力，或使工业自动化的进步提高生产力和减少浪费。

图 1 。 Mavenir-NVIDIA 端到端 IVA 解决方案支持智能城市、无摩擦零售、工厂楼层光学检测等。

NVIDIA -Mavenir 高效加速 IVA 解决方案

NVIDIA 和 Mavenir 合作开发了一个 edge-AI 用例，该用例专注于城市地区或工业园区的实时目标检测。该解决方案用于检测感兴趣的对象，支持诸如监控机场停车场智能停车场、防止邮件被盗或协调机器人车辆等应用程序。

如图 1 所示， NVIDIA 和 Mavenir 的端到端解决方案将 5G 连接摄像头生成的视频流通过 Mavenir 的 5G 核心用户平面功能（ UPF ）路由至 NVIDIA Metropolis 平台。所有这些都运行在一个超级融合的 2RUNVIDIA EGX 边缘服务器上。这些分解的基础设施组件组合在一起，为公共和私人 5G 客户提供一个加速和高效的 AI 驱动的边缘 IVA 解决方案。

包流：包生命中的一天

图 2 。分组通过加速有效 IVA 解决方案的不同组件。

如图 2 所示，摄像机将视频输入平台。这些摄像机提供的视频帧包通过 Uu 连接流到模拟的 RAN 。 RAN 通过 N3 连接将数据包路由到 Mavenir 5G UPF 的 GPRS 隧道协议（ GTP ）隧道中。 NVIDIA 连接 X-6 Dx SmartNICs 卸载并加速 UPF 的数据包处理，继续通过 N6 连接将数据包从 GTP 隧道路由到 EGX 边缘服务器 。可用于分析数据的附加数据分析和数据处理平台。

每台摄像机以 720p 的分辨率和 4Mbps 的带宽传输。该用例有 160 个摄像头，因此每个网络片的总带宽为 640 Mbps 。系统的有效利用成为提供高效且经济可行的解决方案的关键。

UPF 在 5G 核心中的关键作用

这种联合解决方案的关键要素之一就是 5G 核心。我们在这个联合解决方案中特别强调的一个方面是如何使用硬件卸载来加速 5G 系统的各个部分。具体来说，我们可以演示卸载 Mavenir UPF 元素以提供最高效的服务和吞吐量的好处。

图 3 。 3GPP 5G 架构。

如图 3 所示， UPF 是 3GPP 5G 核心规范中的关键组件。它可以被认为是 5G 网络的主干。 UPF 在 RAN / MEC 和数据网络之间提供连接，确保数据在系统中的有效传输。

UPF 由 5G 核心的会话管理功能（ SMF ）组件管理。 SMF 根据定义的业务规则定义了通过 UPF 移动数据包的规则。因此， UPF 的角色之一是解析来自传入数据包的会话或用户信息，并将其与 SMF 定义的规则相匹配。

通过 5G （ 3GPP 协议中指定为 N3 和 N9 ）的连接基于 GTP 。 UPF 处理数据包通过 GTP 隧道时的解封装和封装。此外， UPF 处理包路由和转发、包检查、服务质量（ QoS ）实施和网络地址转换（ NAT ）。作为其工作的一部分， UPF 管理数据包的接收端扩展（ RSS ），其中数据包被负载平衡并定向到 UPF 服务器内的不同核心进行处理。

这种不同的角色为使用硬件卸载加速 UPF 性能提供了多种机会。

图 4 。数据包转发的硬件卸载过程。

传统上，传统的虚拟网络功能（ vnf ）运行在通用的 CPU 上。虽然灵活，但它们在可伸缩性和对不同工作负载的响应方面受到限制。 NVIDIA 网络技术使用物理硬件，如智能网卡和 DPU ，以高速执行数据包处理任务。重点是管理 NIC 表中的流规则，将传入的数据包与预定义的规则相匹配。 NVIDIA ASAP2是一项旗舰开源技术，实现了云、虚拟化和裸机环境的加速交换和数据包处理。

硬件比软件更有效地执行卸载功能。因此，可以以较高的吞吐量和较低的延迟执行操作。此外，卸载可以释放 CPU 来处理其他任务，而不是进行数据包处理。

尽快2将 UPF 功能卸载到硬件

图 5 。没有硬件加速的 UPF 管道流。

在图中，通过非 UPN3 接口接收来自 GNO 的数据包。然后， UPF 服务器中的调度线程或核心负责 RSS 。调度器接收包并将其定向到多个工作线程或虚拟核心中的一个。这些核心然后处理剩余的 UPF 管道：

由订户的 IP 地址标识的特定于订户的规则的初始匹配

GTP 封装/解封（基于通过 GTP 隧道的数据流）提取特定的订户 IP 地址

基于 SMF 规则的会话数据提取与处理

执行以业务为中心的任务，如 QoS 和数据包计费和计数

在将要发送到数据网络或 5G 系统中的下一跳的数据包排队之前，重写 NAT 的数据包头。

这个过程是 CPU 密集型和低效的。我们可以演示通过管道进行包处理并在 smartNIC 而不是在 CPU 中执行它的优势。目前与 Mavenir 的合作已经分两个阶段演示了这种卸载。

图 6 。部分加速流水线硬件。

图 6 显示了第一个卸载阶段的重点是包分类、流标记、 GTP encap / decap 和 RSS 。

当数据包从 GNodeB 接收时， NIC 对 IPv4 和会话头执行规则匹配。这样， NIC 理解会话上下文并执行 RSS 功能，相应地将数据包发送给工作线程。这种卸载会立即释放调度程序核心来执行其他任务。

在第二个更高级的阶段， UPF 管道的其他组件被卸载到 NIC 。此过程包括流标记，以维护在一个数据包与多个表匹配时要保留在会话中的匹配上下文。

在 NIC 执行初始规则匹配之后，它将执行 GTP encap / decap ，并在将数据包发送到工作核心之前标记数据包以进行流标记。

与第一阶段卸载一样，调度器核心被释放。还有更多的好处。 GTP encap / decap 开销减少， UPF 软件匹配所需的一些 CPU 搜索周期也减少了。此外， FlowTag 标记通过创建具有亲和力的 RSS 大大提高了 UPF 处理。当系统识别出一个包时，它可以将它发送到特定的线程进行处理，而不是仅仅充当工作线程 – 和核心关联感知的负载平衡器。

未来的发展将把 UPF 管道的附加功能转移到硬件上，从而提高系统的效率。

5GC UPF 卸载的性能优势

测试系统显示了将 UPF 功能卸载到 smartNIC 的明显优势。测试是通过视频流通过 RAN 进入 UPF ，被推向边缘 AI 。

图 7 。 UPF 性能结果（无硬件卸载）。

Mavenir UPF 软件配置为使用 32 个虚拟快速路径核心运行。图 7 显示，作为基线测试，视频流通过 UPF 而无需任何硬件卸载。该测试显示 32 个快速路径核心的最大吞吐量达到 524 Gbps。

关于作者

Ash Bhalgat 是 NVIDIA 网络业务部门的云和电信市场开发高级总监。他领导云和电信解决方案、技术营销和合作伙伴生态系统业务开发，以推动网络投资组合收入和市场份额增长。

审核编辑：郭婷