美国邮政总局基于NVIDIA EGX的系统上实现数十种AI用途

这项边缘计算基础设施计划高调起步，目前已在其基于 NVIDIA EGX 的系统上实现数十种 AI 用途，这些系统由 Triton 推理服务器管理。

2019 年，美国邮政总局 （USPS） 每天需要识别和跟踪超过 1 亿封邮件。

USPS 的 AI 架构师 Ryan Simpson 提出了一个想法。他希望将邮政团队正在开发的一个图像分析系统扩展到更广泛的领域，以解决这个大海捞针的问题。

他认为如果将边缘 AI 服务器战略性地部署在其处理中心，USPS 便能够分析每个中心生成的数十亿张图像。分析结果（以几个关键数据点表示）可以通过网络快速分享。

这位数据科学家和来自 NVIDIA 的六位架构师以及其他人设计了在为期三周的开发周期中所需的深度学习模型，这个开发周期就像是一场漫长的黑客马拉松。这项工作是边缘计算基础设施计划 （ECIP） 的开端，该计划是一个分布式边缘 AI 系统，目前正在 USPS 的 NVIDIA EGX 平台运行。

边缘AI平台

事实证明，边缘 AI 能够实现不错的性能。ECIP 已在运行另一款类似自动眼睛的应用程序，用于跟踪各种业务需求的物品。

负责监管各个系统（包括 ECIP）的经理 Todd Schimmel 表示：“过去需要八到十个人花上几天才能找到包裹，现在只需一两个人几个小时就能分拣好。”ECIP 使用的是慧与（HPE）的 NVIDIA 认证边缘服务器。

另一项分析更能说明问题。该分析表明，在拥有 800 个 CPU 的服务器网络上需要两周时间完成的一项计算机视觉任务，而基于一台 HPE Apollo 6500 服务器上的 4 个 NVIDIA V100 Tensor Core GPU，只需 20 分钟就能完成。

如今，每个边缘服务器每天可以处理来自 1000 多台邮件处理机器的 20 TB 图像。NVIDIA 开源软件 Triton 推理服务器充当数字邮递员，可以根据 195 个系统的需求和适合方式，分别提供 AI 模型。

适用于边缘的新一代应用程序

USPS 提出了适用于 ECIP 的新一代应用程序的需求，该应用程序使用光学字符识别 （OCR） 来简化其成像工作流程。

“过去，我们会购买新的硬件、软件，即 OCR 的整个基础设施；或者使用公共云服务，我们必须将图像传输至云端，这需要大量的带宽，而且上传大约 10 亿张图像会花费大量成本。”Schimmel 说。

现如今，新的 OCR 用例将在由 Kubernetes 管理、Triton 提供服务的 ECIP 容器内作为深度学习模型运行。

借助这个系统软件，ECIP 在疫情最初几周顺利完成了初始部署。运营商准备好容器，让首批系统开始运行，同时交付其他系统，并在安装各个节点的完整网络时更新这些系统。

Schimmel 表示：“部署非常顺利。”随后又补充道：“我们在 2019 年 9 月签订合同，2020 年 2 月开始部署系统，到 8 月完成了大部分硬件部署，USPS 对此很满意。”

Triton加快模型交付

作为 ECIP 计划中软件的一部分，Triton 可以自动将不同的 AI 模型交付到不同系统，这些系统可能拥有不同版本的 GPU 和 CPU，支持不同的深度学习框架。这为边缘 AI 系统节省了大量时间，例如拥有近 200 台分布式服务器的 ECIP 网络。

一个检查邮件的应用程序需要 6 个以上的深度学习模型支持，每个模型负责检查特定功能。此外，运营商还期望借助更多的模型来增强应用程序，从而在未来实现更多功能。

Schimmel 表示：“我们目前部署的模型有助于管理邮件和邮政服务，这有助于我们维护使命。”

一批边缘AI应用程序

目前为止，从企业分析到金融和营销，USPS 的各个部门已经提出了 30 个 ECIP 应用程序的想法。Schimmel 希望今年能启动并实现其中几个应用。

一个系统能自动检查包裹的邮费是否符合其大小、重量和目的地。另一个系统则能自动破译损坏的条形码，该系统最快能在今年夏天上线。

他说道：“这对我们和客户都大有益处。我们可以知道一个特定包裹位于何处。AI 解决方案虽然不是万能的，但它可以填补空白、提升我们的表现。”

这项工作属于 USPS 更宏伟的目标，他们希望能探索数字足迹，以造福客户的方式解锁数据的价值。

他表示：“我们处于边缘 AI 之旅的起步阶段。我们的员工每天都在思考将机器学习应用于机器人、数据处理和图像处理的新方法。”

编辑：jq