基于NVIDIA Rivermax和NEIO FastSocket提高低延迟网络性能

超低延迟与可靠的数据包传输是金融服务、云游戏以及媒体和娱乐等现代应用的关键需求。在这些领域中，微秒级的延误或单个数据包的丢失都可能带来显著影响，导致经济损失、用户体验下降或媒体流出现画面故障。

低延迟和无丢包数据传输为何如此重要：对于需要低延迟解决方案的金融服务、云游戏、媒体和娱乐而言，实现超高数据包速率、以线速持续提供带宽，并尽可能减少甚至消除丢包至关重要。传统网络栈难以满足这些需求，尤其在网络速率扩展至 10/25/50/100/200 GbE 及更高速度时尤为明显。

NVIDIA Rivermax 高性能流式传输解决方案：NVIDIA Rivermax 是一个基于 IP 的高性能跨平台软件库，专为媒体和数据流应用设计，旨在提供卓越的传输效率。借助先进的 NVIDIA GPU 加速计算技术和高性能网卡（NIC），Rivermax 实现了超高吞吐量、硬件级数据包精确步控、极低延迟以及更低的 CPU 占用率。这些特性使其成为对效率和实时性要求较高的关键任务工作负载的理想选择。

图 1. Rivermax 软件堆栈概述

图 2. Rivermax 内核旁路架构

基于 Rivermax 技术的 NEIO FastSocket：随着网络速度的快速提升，传统的 socket 的通信方式已难以满足需求，尤其在 10/25 GbE 及更高速度的场景下。NEIO Systems Ltd. 推出的 FastSockets 是一个灵活的中间件，专为实现高性能的 UDP 和 TCP 通信而设计，有效克服了这些瓶颈。该技术致力于实现无丢包技术，并提供超低延迟和超高带宽。

图 3. 传统网络与 FastSockets 加速比较

确保用户数据报协议（UDP）无丢包接收，实现高性能网络：在现代网络应用中，速度与效率至关重要，可靠的数据传输也因此成为关键。UDP 因其低延迟特性，被广泛应用于对实时性要求较高的场景，如机器视觉中的视频流传输和金融市场数据分发。

基准测试：FastSockets 支持 Linux 和 Windows 系统，本文主要关注其在 Windows 平台上的表现。由于 RIO 功能存在限制，无法开展全面的网络性能评估，因此 RIO 的基准测试范围较为有限。

图 4. 持续吞吐量比较

图 5. 平均数据包速率比较

图 6. 延迟比较

图 7. 数据包序列化延迟比较

GPUDirect 技术应用的下一步：GPUDirect 技术通过实现网卡与 GPU 之间的直接内存访问，绕过 CPU，有效降低数据传输延迟，从而提升交易系统的性能。该技术能够将从交易所接收的高频市场数据直接流式传输至 GPU 显存，便于快速运行 AI 模型，识别关键市场模式，例如价格的突然波动或订单簿的失衡情况。