加速网络性能：融合以太网 RDMA (RoCE) 的影响

作者：Tawfeeq Ahmad

2024-12-27

计算密集型应用程序的快速发展提高了对更快、更高效和可扩展的网络解决方案的需求。为满足这一需求而出现的最具创新性的技术之一是基于融合以太网的远程直接内存访问 (RDMA) (RoCE)。这项突破性技术促进了系统之间的直接数据传输，无需 CPU 干预，从而显着减少延迟并提高整体系统性能。[爱波]一家著名的 FPGA 设计公司处于这一进步的最前沿，通过将 AMD 的 ERNIC IP（以太网 RDMA 网络接口控制器知识产权）集成到其嵌入式计算模块产品组合中，实现了强大的 100G 以太网解决方案。这种集成旨在增强高性能应用程序中的 RDMA 功能。

了解融合以太网上的 RDMA (RoCE)

RDMA 是一项关键技术，可有效绕过 CPU，在主机或服务器之间实现直接内存传输。此功能使 CPU 能够专注于应用程序执行和数据处理，从而显着提高网络性能，其特点是减少延迟、降低 CPU 负载和增加带宽，所有这些都以经济高效的方式进行。 RoCE 是一种特定的网络协议，旨在促进以太网上的 RDMA 操作。通过利用现有的以太网基础设施，RoCE 为希望在不彻底改变当前网络设置的情况下提高性能的组织提供了一个有吸引力的选择。

RoCE 的类型

根据使用的网络适配器，RoCE 分为两个不同的版本：RoCE v1 和 RoCE v2。

1. RoCE v1 ：该协议允许位于同一以太网广播域 (VLAN) 内的两台主机之间进行通信。它利用 Ethertype 0x8915 并将标准以太网帧限制为 1500 字节，同时允许以太网巨型帧扩展到 9000 字节。
2. RoCE v2 ：为了解决 RoCE v1 的限制，RoCE v2 通过合并 IP 和 UDP 标头引入了数据包封装增强功能。此修改使 RoCE v2 能够跨第 2 层（数据链路层）和第 3 层（网络层）网络无缝运行，从而支持跨多个子网的第 3 层路由和可扩展性。 RoCE v2 通常称为可路由 RoCE (RRoCE)，还增加了对 IP 组播的支持，进一步拓宽了其适用性。

ERNIC IP：增强RDMA能力

ERNIC（支持嵌入式 RDMA 的 NIC）IP 是可定制的以太网 RDMA 网络接口控制器 IP 核，旨在与 AMD FPGA、MPSoC 和软 MAC IP 实现无缝集成。该解决方案的特点是高吞吐量、低延迟以及基于标准以太网的完全硬件卸载、可靠的数据传输机制。 iWave 通过成功实施 100G 以太网解决方案体现了其对技术进步的承诺。这一成就是通过利用 iWave 的[Zynq UltraScale+ MPSoC 支持的开发套件]实现的，该开发套件集成了 AMD 的 ERNIC IP。

Zynq UltraScale+ MPSoC 开发套件专为采用高速 QSFP-28 连接器进行原型设计和评估 100G 以太网解决方案而定制。

演示设置

典型的演示设置（图 2）包括：

• iWave 的 Zynq UltraScale+ MPSoC ZU19EG 供电开发套件
• [研华] [Mellanox ConnectX-5 100G 网卡]
• 同步 1588 PTP 启用 1G 网卡
• MTP 电缆、[QSFP-28 模块]和[CAT6 RJ45 以太网电缆]
• Ubuntu 22.04 服务器电脑

图 2：Zynq UltraScale+ MPSoC 开发套件的典型设置。 （图片来源：iWave）

系统架构概述

该系统架构旨在优化数据传输，在处理系统 (PS) 和可编程逻辑 (PL) 组件之间明确定义角色。该实现还具有精确时间协议 (PTP) 同步功能，这对于实时应用至关重要。凭借出色的性能指标，例如能够以每秒超过 100 帧的速度处理 8K 视频，潜在的应用涵盖数据中心、多媒体和高性能计算等各个领域，凸显了该技术在现代计算环境中的多功能性和重要性。

图 3 所示的系统高级架构突出了 Zynq UltraScale+ MPSoC 中 PS 和 PL 组件的不同作用。 PS 具有基于 ARM Cortex-A53 的硬 SoC，这对于系统配置、控制和诊断至关重要。该架构的关键组件包括：

• 100G 以太网 MAC 驱动程序 ：确保 100 Gb/s 的稳健性能和低延迟数据传输
• ERNIC 控制器驱动程序 ：负责管理传入 DDR 的数据，并通过高效的门铃交换促进用户应用程序和 ERNIC IP 之间的通信
• RDMA 核心和用户空间库 ：确保跨内核和用户空间的 RDMA 操作的兼容性和最佳性能

图 3：Zynq UltraScale+ MPSoC 中处理系统和可编程逻辑组件的不同角色的亮点。 （图片来源：iWave）

AMD ERNIC IP 有效地将 RoCE v2 堆栈卸载到 FPGA 上，并由 ERNIC 控制器管理各个模块之间的握手以促进数据传输。它生成工作队列条目并向 ERNIC IP 发送通知（门铃）。同时，Zynq UltraScale+ MPSoC 的 100G 以太网子系统管理 MAC 和物理层，而数据模式生成器则负责生成原始数据和视频数据模式。

精确时间协议（PTP）

PTP（IEEE 1588 标准）时间戳在以太网上跨系统同步时间方面发挥着至关重要的作用。这种同步对于增强实时应用程序的性能、实现纳秒级的同步和低延迟数据交换至关重要。

设置的主要亮点

该设置的显着特点包括：

• 利用 AMD ERNIC IP 通过 RoCE v2 实施 100G 以太网
• 可靠连接传输类型
• 用于数据包处理的 RDMA SEND、RDMA READ 和 RDMA WRITE 功能
• 支持 RDMA Send with Immediate 和 RDMA Write with Immediate 消息类型
• 使用 XRPING 和 PERFTEST 应用程序进行 RDMA 性能测试
• 用于 RAW 和视频数据模式的自定义数据模式生成器
• 将 PTP 时间戳与数据一起插入

从 Zynq UltraScale+ MPSoC 开发套件到服务器 PC 的视频数据传输的详细吞吐量统计数据显示出令人印象深刻的性能，能够以超过 100 fps 的速度处理 8K 视频，以超过 400 fps 的速度处理 4K 视频。

潜在应用

RDMA over 融合以太网和 ERNIC IP 的集成为各个行业开辟了新途径，显着增强了一系列应用的连接性、性能和效率，包括：

• 数据中心和云计算 ：促进高效的服务器通信并加速云架构中的数据处理
• 视频/图像捕获和传输 ：有利于多媒体应用、广播和虚拟现实 (VR) 环境
• 存储解决方案 ：实现存储设备和服务器之间更快的数据传输，从而提高存储系统性能
• 高性能计算 (HPC) ：提高 HPC 集群内的数据传输速度并减少延迟，以加快计算任务和模拟速度
• IoT Edge 设备 ：实现传感器和设备的实时数据收集和传输

随着对更快、更高效的数据传输解决方案的需求不断增长，融合以太网上的 RDMA 和 ERNIC IP 有望在未来的高性能计算中发挥关键作用。

结论

iWave 广泛的 FPGA 和 SoC FPGA 平台产品组合与其深厚的技术专业知识相结合，使客户能够开发利用人工智能 (AI)、机器学习和边缘计算领域最新进展的尖端产品。通过与 iWave 合作，公司可以加快产品开发、降低风险，并在日益复杂的技术环境中保持竞争优势。

审核编辑 黄宇