MIPI在下一代边缘AI物联网设备中有何应用？

数据处理的历史始于 20 世纪 60 年代，当时的集中式现场大型机后来演变为分布式客户端服务器。在本世纪初，集中式云计算变得有吸引力，并开始获得发展势头，成为当今最流行的计算工具之一。

然而，近年来，我们看到对边缘或更接近数据源的处理的需求再次增加。让我们开始 ，“走向未来 ！”

云处理的最初好处之一就是能够超越现场处理的有限能力。随着人工智能的进步，越来越多的决策可以在边缘做出。现在很明显，边缘和云处理是互补的技术；它们对于实现最佳系统性能都是必不可少的。

互联系统的设计者必须问，云和边缘之间最有效的系统划分是什么？

云计算与边缘计算的优势

要了解对系统进行分区的最佳方法，我们必须首先了解每种方法的优点。对于边缘计算来说，最大的好处就是低延迟。当必须实时或近实时做出决策时，Edge 确实大放异彩。这种实时决策的能力还提供了其他附带好处。借助人工智能，设备可以通过减少错误通知来提高能效。

在边缘进行处理还可以减少由于传输原始数据到其他地方进行处理而导致安全漏洞的可能性。在连接成本较高或连接有限的情况下，边缘处理可能是唯一可行或实用的选择。

当谈到云计算的好处时，实际上取决于性能。云处理提供了无法在边缘复制的海量计算能力。这对于复杂的机器学习和建模至关重要。云还提供大存储容量，并提供以增量成本扩展存储和计算资源的能力。一旦数据进入数据中心，云就可以提供高安全性。

此外，由于云服务器的集中化，维护通常更容易。

Table 1: Edge vs. Cloud Computing

系统设计示例

现在我们已经检查了权衡，我们可以看一些可以同时使用云和边缘处理的系统设计示例。

智能家居安全系统是一个著名的例子，因为数据处理存在自然的分段。一些任务，例如面部识别、语音识别、忽略错误警报的运动检测、检测相关音频输入（例如用户命令、玻璃破碎或警报）的能力，最好在边缘完成。云仍然可以用于长期保留和机器学习。

Figure 2: Smart home system

另一个例子是可穿戴智能设备。可穿戴设备将利用边缘处理来监控环境并通过小型内置传感器识别相关物体、人和声音。可穿戴设备还将通过移动设备连接到云和互联网，使其能够访问庞大的数据库，其中包括联系人、图像、全球地图和百科全书。

Figure 3: Wearables system

上述两个例子同样受益于云计算和边缘计算。云用于匿名数据聚合和优化以及长期存储。通过设备作出更好 的本地决策，您可以延长电池寿命、降低带宽要求并提高安全性。与许多物联网设备一样，这两个系统示例都需要跨多个设备（例如传感器、摄像头、显示器和麦克风）收集和集成数据。要在边缘实时处理所有这些数据，您需要一个能够以极低功耗处理支持人工智能和机器学习的多个感官输入的处理器。Perceive 通过其 Ergo AI 处理器做到了这一点，该处理器专为物联网和边缘设备而设计。

Perceive Ergo 人工智能处理器

Perceive Ergo 芯片是一款推理处理器，专为满足功耗受限的物联网和边缘设备的需求而设计。它可以以 55 TOPS/W 的速度提供 4 个持续的 GPU 等效浮点 TOPS。凭借这种功率，Ergo 处理器可以使用低至 20 mW 的功耗处理大型神经网络，并支持各种高级神经网络，所有这些都具有本地处理功能。Perceive Ergo 芯片支持机器学习应用，例如视频对象检测、音频事件检测、语音识别、视频分割、姿势分析以及其他可创造更好用户体验的功能。Perceive 客户使用 Ergo 处理器的一些目标应用包括前面提到的智能家居安全系统和可穿戴设备示例，以及视频会议和便携式计算。

当系统设计人员寻找边缘处理器时，处理器与系统其他组件兼容非常重要。边缘处理需要系统中的摄像头、扬声器、麦克风和其他传感器阵列与边缘处理器之间有一个接口。这意味着 Perceive 需要一套与系统其他组件兼容并无缝融入客户设计的接口规范。

Figure 4: Ergo within a system. Image Perceive. Used with permission. All rights reserved.

要了解如何将 Ergo 集成到边缘设备中，让我们看一下框图。

Figure 5: Ergo processor blockdiagram. Image Perceive. Used with permission. All rights reserved.

内置成像接口部分包括 2 个 MIPI CSI-2 和 2 个 CPI 输入以及 1 个 MIPI CSI-2 输出。这支持两个同步图像处理管道：一个使用两个 MIPI D-PHYSM CSI-2 RX 实例的高性能 4K，另一个使用一个实例的标准 HD。还包括通过 MIPI D-PHY CSI-2 TX 将视频传输出去的功能，这在许多应用中都很有用，例如安全性，其中警报可以伴随相应的音频和视频。该子块下方是音频接口，支持麦克风输入和扬声器输出。

右边是CPU系统，主要功能是芯片管理、数据流转以及与主处理器的通信。一些音频预处理由 CPU 子系统处理，例如时间到频谱的转换。DSP 引擎进行音频预处理或后处理，例如 FFT。

在顶部中心，图像处理单元处理来自相机的原始图像，使用缩放、裁剪和色彩空间转换等功能，使神经网络结构更容易使用它们。

Ergo 处理器的大脑是右上角的神经网络结构。这是分割、识别、推理和其他功能发生的地方。Ergo 芯片支持多个神经网络集群，使其能够同时运行多个神经网络并支持多种输入数据类型（例如同时视频和音频），从而能够产生更高质量的推理。例如，与单独的任何一个输入相比，伴随着玻璃破碎声音的运动检测可能会在安全应用中触发更值得信赖的响应。神经网络集群及其 SRAM 占据了芯片面积的三分之二以上。

MIPI 支持边缘设备

就 Ergo 芯片而言，我们看到了几个用于接收和传输视频的 MIPI D-PHY 和 MIPI CSI-2 实例。虽然 MIPI 规范最初是为移动应用程序设计的，但后来已在物联网边缘设备等移动邻近应用程序中广泛实施。由于大多数边缘应用都是电池供电，因此电源效率是重中之重。就像家庭安全和可穿戴系统一样，许多物联网设备需要使用具有高带宽、突发和不对称通信要求的摄像头、显示器和传感器。

因此，MIPI 规范非常适合物联网应用。这些规范旨在与从调制解调器、天线和系统处理器到相机、显示器、传感器和其他外围设备的各种组件连接。MIPI 规范从头开始设计，旨在最大限度地降低功耗，同时支持高带宽和严格的 EMI 要求。简而言之，如果系统需要使用传感器、执行器、显示器、摄像头、高级音频或无线通信接口，那么它很可能受益于 MIPI 规范的使用。

Perceive Ergo 处理器是一个很好的例子，展示了如何利用 MIPI 规范的优势进行边缘处理器设计。Perceive 选择使用 MIPI D-PHY 和 MIPI CSI-2 规范，不仅是因为它们提供的电源效率和低 EMI，还因为它是业界此类应用最广泛采用的规范， 支持它的广泛的生态系统。

Mixel MIPI D-PHY

Mixel 提供了 Perceive MIPI D-PHY CSI-2 TX 和 Mixel MIPI D-PHY CSI-2 RX IP。这两个 IP 在移植到 22FDX 之前都经过了 FDSOI 工艺的硅验证。Perceive 选择采用 FDSOI 工艺，因为与成本更高的 FinFET 工艺相比，它提供了低功耗和低成本的正确组合，以实现高性能。此外，由于衬底偏执电压的可编程性，FDSOI 还提供了更大的灵活性，从而实现更高的性能并可能减少功耗和面积。

这些优点使 FDSOI 成为最广泛采用的物联网设备之一。在接收器方面，Mixel 提供了 CSI-2 D-PHY 的 2 种不同区域优化的 RX 配置：2 通道和 4 通道版本。它们都支持 MIPI D-PHY v2.1，向后兼容 v1.2 和 v1.1。两种配置均以高达 2.5Gbps/通道的速度运行，并支持以高达 80Mbps/通道的速度运行的低功耗模式。

对于发射器端，Mixel 为 Perceive 提供了面积优化的 4 通道 CSI-2 TX D-PHY。该IP还支持MIPI D-PHY v2.1，并具有以2.5Gbps/通道运行的高速传输模式。该发射机用于支持隧道功能。在下图中，您可以看到以 1.5Gbps/通道和 2.5Gbps/通道运行的 TX IP 的眼图。Perceive 凭借 Mixel IP 首次取得成功，现已投入生产。

Figure 6: Mixel D-PHY TX eye diagram at 1.5Gbps/lane

Figure 7: Mixel D-PHY TX eye diagram at 2.5Gbps/lane

结论

如今的物联网连接系统需要在云和边缘处理之间取得平衡，以优化系统性能。您根本无法击败云数据中心的处理能力，但对于需要实时决策的应用程序，边缘可提供最低的延迟。为了支持边缘设备，您需要一个能够进行机器学习的处理器。Perceive Ergo AI 处理器支持边缘推理处理，使物联网设备更加智能、降低延迟并提高电池寿命和安全性。边缘处理器设计还需要一个与各种物联网外围设备兼容的接口。

MIPI CSI-2 是低功耗传感器和摄像头的事实上的标准，鉴于 MIPI 规范是为低功耗、高带宽应用而设计的，它们非常适合物联网 AI 设备的边缘处理。通过利用 Mixel 的经过硅验证的差异化 MIPI CSI-2 支持的 MIPI D-PHY，Perceive 能够降低风险、缩短上市时间，并为客户提供高能效、极具竞争力的解决方案，以应对不断扩展的市场需求。竞争激烈的人工智能边缘处理市场。

审核编辑：刘清