使用EdgeBoost节点使AI边缘推理计算机设计简单

当计算系统根据经过训练的机器学习算法进行预测时，就会发生推理。虽然推理的概念并不新鲜，但在边缘执行这些高级操作的能力是相对较新的东西。

基于边缘的推理引擎背后的技术是嵌入式计算机。但显然它远不止于此，它具有增强的计算能力、大量存储空间以及实时处理大量数据所需的 I/O。目标是在尽可能靠近生成数据的位置执行操作，在最短的时间内获得最准确的结果。该位置通常非常靠近传感器，外部数据输入到系统。一旦做出决定，它们通常会被送回边缘执行，从而推动边缘的实时决策。

基于边缘的推理引擎的一个关键问题是它的部署环境。例如，它是否必须设计为能够应对冲击和振动？它会产生极高或极低的温度吗？它会提供性能加速的正确平衡吗？对这些问题中的每一个的回答都可能导致不同的设计，或者至少是一种不同的设计方式。

一些供应商为环境问题保留了完整的内部测试设备。这将包括热调节模拟，当然还有冲击和振动。在大多数应用中，专为“坚固和热应用”设计的系统意味着它可以在 -40°C 到 +70°C 的温度范围内运行，并且可以承受高达 20 G 的冲击和 3 Grms 的振动。

为人工智能做准备

通用嵌入式计算机与旨在处理推理算法的计算机之间存在明显的区别。首先，推理引擎需要最高的计算性能。任何设计人员都可以将高端 X86 处理器下架并将其整合到系统中，即使是整合了数据中心平台功能的系统。然而，设计一个系统以实现最大吞吐量，需要在硬件和软件方面的人工智能系统方面的深厚专业知识和经验。Premio的专家为其工业级计算机平台提供强大的硬件工程和设计，符合这一要求。

Premio 提出了一种称为Edge Boost Nodes的模块化技术，可最大限度地提高边缘系统的性能。硬件节点物理连接​​到平台的下部，并为需要数据采集以获得实时洞察力的边缘级工作负载提供硬件加速。这种两件式模块化设计有助于保持平台的坚固性，同时通过创新的罐体砖和 GPU 中的非易失性内存 （NVMe） 固态磁盘驱动器 （SSD） 和 GPU 提供性能加速，以实现并行计算性能。每个 Edge Boost 节点都使用高转速主动冷却来确保这些组件的可靠性。

Premio 提供了许多不同的 Edge Boost 节点。例如，一个选项RCO-6000-CFL-2N2060S添加了一个可热插拔的 NVMe SSD 容器，能够容纳多达两个 15 毫米 U.2 SSD 和一个 PCIe GPU。第二种选择，RCO-6000-CFL-4NH增强了存储能力，支持 x2 可热插拔 NVMe SSD 罐，可容纳两个 15-mm U.2 SSD，用于支持硬件和软件 RAID 的大容量 NVMe 存储。第三种选择RCO-6000-CFL-8NS专注于更高速的 NVMe 存储，为系统集成商提供了添加多达 8 个 7 毫米、2.5 英寸的能力。U.2 NVMe SSD，即将加入 Premio 的 Edge Boost Node 产品组合。

这种拓扑很重要，因为对于基于边缘的推理系统，存储与位于背板上的 I/O 分离，从而最大限度地提高了性能。“秘诀”在于平衡可用的 PCIe 通道数量以提供最佳性能，这是 Premio 能够从其嵌入式和数据中心计算机架构设计组合中汲取的设计技术。

其他必须考虑的 I/O 包括 USB、COM 接口，甚至 5G。对于板供应商和 OEM 来说，处理高吞吐量 I/O 的一种好方法是通过模块化 I/O 子板来增加灵活性。通过这种方法，系统可以准确地提供所需的 I/O，并为特定于应用程序的工作负载消除不必要的 I/O 选择。

用于 ADAS 应用的人工智能

当今一种流行的应用是 ADAS，即高级驾驶员辅助系统。这些复杂的系统基于有效的数据收集和共享为自动驾驶汽车应用提供动力，旨在为五级自动驾驶提供持续更智能的算法。

注意到这显然是一个基于边缘的应用程序，Edge Boost Nodes 设计团队肯定会结合适当的加固功能和热调节。例如，系统操作员需要随时动态了解箱内的温度。在这里，可能的场景包括风扇。作为一个耗电组件，该风扇仅在必要时才会开启。

在 Premio 为其客户提供的软件开发工具包中，有一个应用程序可以让他们最大限度地利用这些风扇，确定它们应该何时开启、它们应该以什么速度运行等等。该软件还提供了一个安全阀，它可以暂停从各种外围设备返回 CPU 的所有 I/O 读取操作。也可以使用物理按钮和 LED 指示灯来执行此操作。

最大限度地提高电源效率

功率效率是基于边缘的推理引擎的重中之重。系统设计人员认识到需要将处理能力放置在更靠近物联网传感器的位置。一个直接的解决方案是添加各种性能加速器，通常采用 GPU、NVMe 存储和 M.2 加速器的形式。这种设计策略的权衡是每个都是耗电的组件，需要解决功耗与性能预算的问题。将这些任务分离到边缘升压节点会增加处理并减少主机处理器上的负载，主机处理器在其坚固的宽电源输入（从 9 到 48 V DC）中被隔离。模块化 Edge Boost Node 的一个独特功能是它为强大的性能加速模块（NVMe SSD、GPU 或 m.

由于基于边缘的推理引擎会生成大量数据，因此存储是关键。Edge Boost 节点包括一个 6-Gbit/s SATA 接口，可以连接四个驱动器（两个内部驱动器和两个外部驱动器）。然而，结合 NVMe 驱动器是该应用程序的潜在游戏规则改变者。在这种特殊情况下，它最多通过四个 2.5 英寸、15 毫米驱动器和八个 2.5 英寸、7 毫米驱动器选项进行处理。

虽然板载存储至关重要，但将数据与云进行协调的能力也很重要。在这种情况下，此过程通过标准千兆以太网或 10-Gbit/s 模块处理。WiFi 或蜂窝 LTE 也是选项，具体取决于应用和环境。由于该设计提供灵活的 I/O 子板，用户甚至可以集成 5G 子板模块，以实现与 5G 部署的超低延迟连接。

安全性和下一代可升级性

虽然任何工业平台都必须包含适当的安全措施，但将系统性能推向边缘会使安全性变得更加重要。Premio 基于公认的行业标准（如 TPM 2.0）来加密数据。然后是物理方面要解决的问题——有人真的在窃取物理系统。为了解决这个问题，Edge Boost 节点上的 NVMe 驱动器位于锁和钥匙驱动器笼的后面。

Edge Boost 节点的模块化使其本质上可升级。当它可用时，只需将您的模块换成更高性能的版本。虽然此功能可能会略微增加物料清单 （BOM），但它可以保护长期投资，因为可以保证系统的使用寿命更长。在软件方面，可以通过 LAN 在现场进行无线升级，并且由于内置的​​安全功能，可以放心地完成。而随着行业走向云原生升级路径，这也成为了升级的首选方式。只要系统保持“容器化”，安全问题就会得到解决和妥善管理——无论是在系统的生命周期内，还是在不断演变的数字安全威胁环境中。

审核编辑：郭婷