高性能存储实现新突破的英特尔至强处理器

在人工智能、5G、边缘计算等数字化创新技术的驱动下，数据正在呈现爆发式增长的趋势。为挖掘海量数据背后的价值，高性能存储系统的需求急剧增加，也为分布式存储系统提供了广阔的应用空间。

相比传统架构，分布式存储系统具有更高的并发和更低的时延，可实现敏捷的扩展，帮助企业提升投资回报，目前已经成为企业推进数字化转型的关键策略之一。网易主导自研的云原生高性能分布式存储系统 Curve 就是其中之一，它致力于为企业提供一个高性能、低时延的存储底座，基于该存储底座，企业可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。同时，网易与英特尔联合推出了第四代英特尔 至强 可扩展处理器的 Curve 方案，该方案借助高性能处理器与高性能数据库，实现了较高的存储性能表现，以应对分布式存储系统在性能、TCO 等方面遇到的挑战。

分布式存储系统虽有优势但仍面临挑战

Curve 是网易数帆主导自研的一款高性能、易运维、云原生的开源分布式存储系统，并具有高性能、高可用和自治三大设计特点。Curve 目前支持文件存储 (CurveFS) 和块存储 (CurveBS)。Curve 可应用于主流的云原生基础设施平台，亦可作为云存储中间件使用 S3 兼容的对象存储作为数据存储引擎，为公有云用户提供高性价比的共享文件存储。

虽然分布式存储系统相比传统存储架构具有更高并发和更低时延等优势，但随着数据的快速增长，分布式存储系统在性能、TCO 等方面仍然面临多重挑战：

创新应用、海量数据带来严峻性能压力

用户增长与业务创新使得分布式存储系统必须具备更高的性能水平，以在特定的服务级别协议 (SLA) 标准下处理数据。这对存储系统的吞吐能力和时延造成了巨大压力，使得存储系统的性能压力远超传统业务。

存储集群规模增长可能导致 IO 性能抖动

在大规模的存储集群中，有可能出现单个节点或磁盘异常（慢盘坏盘、节点超载等），导致 IO 请求时延飙高，进而出现 IO 抖动。随着集群规模的增长，IO 抖动的问题可能变得更加严峻。

分布式存储系统的规模带来较高的 TCO 挑战

为了提升系统吞吐量并降低时延，面向关键业务的分布式存储系统通常需要较高的集群规模，这会直接带来高额的采购成本。此外，存储系统的服务器集群在空间占用、运维、供电散热等方面，也会带来较高的成本压力，因此提升单节点的性能密度成为重要发展方向。

英特尔 至强 提升Curve 性能
满足多场景存储需求

高性能存储系统依赖于高性能的硬件，尤其是 CPU 的性能更是堪称关键。为避免出现性能瓶颈，网易推荐采用搭载英特尔 至强 可扩展处理器的服务器，以搭建 Curve 存储系统，满足多种场景的存储需求。 

以第四代英特尔 至强 可扩展处理器为例，它通过创新架构增加了每个时钟周期的指令，每个插槽多达 60 个核心，支持 8 通道DDR5 内存，有效提升了内存带宽与速度，并通过 PCIe 5.0（80 个通道）实现了更高的 PCIe 带宽提升。第四代英特尔 至强 可扩展处理器提供了出色性能和安全性，可根据用户的业务需求进行扩展。借助英特尔 IAA、英特尔 AMX、英特尔 DSA、英特尔 QAT等内置加速器，用户可以在 AI、分析、云和微服务、网络、数据库、存储等类型的工作负载中获得优化的性能。通过与强大的生态系统相结合，第四代英特尔 至强 可扩展处理器能够帮助用户构建更加高效、安全的基础设施。 

为了测试搭载第四代英特尔 至强 可扩展处理器的 Curve 块存储系统性能表现，网易进行了测试。测试使用 3 台 Server 节点和 1 台 Client 节点，配置如表 1 所示，并在同一配置上部署了Ceph，进行了性能对比。

图1：节点硬件配置

测试工具采用了 fio 基准测试，对比了同等配置下 Curve 块存储与 Ceph 存储的 4K 随机性能。测试数据如图 2 所示，Curve 块存储 4K 随机写性能比 Ceph 高 1.07 倍，在混合读写场景（读写比7:3）下，性能比 Ceph 高 1.47 倍，随机读性能高 1.55 倍1。

图2：Ceph 与 Curve 性能比较

在 Curve 块存储中，网络传输中服务端处理可能会占用内存带宽与 CPU 资源，影响系统性能。通过在 Curve 块存储中启用远程直接数据存取 (Remote Direct Memory Access, RDMA) 技术，有助于进一步提升存储性能：RDMA 技术可以让计算机直接访问远程计算机的内存，而无需在本地和远程计算机之间进行数据复制，从而提高网络通信的性能和效率。 

网易数帆测试了启用 RDMA 后 Curve 的性能，测试数据如图 3 所示，启用 RDMA 后 Curve 性能最高提升到 1.86 倍，同时时延也有大幅改进2。

图3：启用 RDMA 前后的 Curve 性能比较

图 4. 启用 RDMA 后不同队列深度的读写时延

双方携手打造高效云原生存储解决方案，实现四大收益

基于第四代英特尔 至强 可扩展处理器的 Curve 高性能分布式存储方案在吞吐、时延、TCO 等方面具备出色优势，能够为金融、互联网、交通、能源等各行业提供高效的云原生存储解决方案。其主要收益有以下四个方面：

应对超高性能场景的存储需求，实现快速响应：得益于第四代英特尔 至强 可扩展处理器的强大性能，以及 Curve 在性能方面的优化，该方案实现了卓越的性能表现，能够有效应对超大并发量业务在吞吐、时延方面的挑战，提升业务服务能力。   降低大规模集群下的性能抖动：Curve 采用了优化数据均衡工具、Backport 下线主动发现机制、优化 Peering 耗时、恢复速度控制、实现异步恢复等方式，并配置了数量众多的监控告警，以便及时发现问题节点、进行故障处理，从而降低存储异常导致 IO 抖动的问题。   有效控制 TCO，提高投资回报：基于第四代英特尔 至强 可扩展处理器的 Curve 提升了单节点的性能密度，有助于降低集群构建、扩展带来的成本压力。   提升可用性：Curve 采用多种数据高可用机制，网易的应用实践显示，系统上线以来，未出现数据不一致和丢数据的情况，没有发生过重大故障，实现了卓越的数据可靠性和服务可用性。

在现有成果的基础上，Curve 将会持续优化性能表现，包括支持云原生数据库、为 K8s 集群提供存储服务，并积极挖掘英特尔 至强 可扩展处理器、英特尔 以太网适配器等新一代硬件的性能潜力，探索 io_uring、QUIC、英特尔 SPDK、RAMA 等技术的应用，将其反馈给开源社区，为客户提供更高性能的存储系统。 

英特尔也将与网易继续深度合作，通过联合技术创新、产品验证、场景化落地等方式，持续释放英特尔 至强 可扩展处理器在性能和可扩展性等方面的优势，加速软硬件的融合，高效地利用计算、存储、网络等资源，充分发挥云原生高性能分布式存储系统的优势，助力企业数字化创新。

审核编辑：黄飞