Redis 8 向量搜索实测：轻松扩展至 10 亿向量

面对生成式 AI 带来的超大规模向量需求，Redis 8 向量搜索实测轻松支持 10 亿向量，依旧保持低延迟与高吞吐表现。本篇文章详细介绍了 Redis 如何通过 HNSW 算法扩展至十亿级别，并提供完整测试配置与性能数据。无论是 AI 检索、推荐系统还是多模态生成应用，Redis 8 都是你构建高效向量服务的可靠选择。

随着越来越多的公司把生成式人工智能（GenAI）应用投入生产，我们看到客户对更大向量数据库的需求不断增长。我们发现了一些需要 10 亿个或更多向量的使用场景，很高兴能分享我们在这一规模上的基准测试结果。

在测试中，我们在中位延迟为 200 毫秒的情况下达到了 90% 的精确度，而在处理 50 个并发搜索请求时，对于前 100 个最近邻（nearest neighbors），在中位延迟为 1.3 秒的情况下达到了 95% 的精确度。

将向量搜索扩展到 10 亿个向量并非易事，但 Redis 8 的发布让这一过程显得轻松。今天，我们将通过展示 Redis 在实时搜索 10 亿个 768 维向量时的处理能力，来说明它如何应对大规模应用程序。我们严格测试了索引与搜索的性能，证明了 Redis 不仅是最快的向量数据库，还能从数百万个向量扩展到数十亿个向量，仍然提供极低的延迟。请查看下面的详细信息。

测试配置详解

我们使用了一个与 Intel® 合作准备的向量数据集，该数据集包含 10 亿个 768 维向量，采用 FLOAT16 精度和 10K 查询，每个查询有 100 个真实值（精确邻居，exact neighbors）。该数据集源自LAION-5B 数据集，这是一个用于训练下一代图生文模型（如 Stable Diffusion 和 OpenClip）的大规模数据集。

向量索引使用了欧几里得距离度量和 FLOAT16 精度，并且在查询时通过调整以下参数来实现不同的精确度：

EF_CONSTRUCTION（在索引创建时设置）：在构建图时，图中每个节点允许的最大潜在出边（potential outgoing edges candidates）候选数量。

M（在索引创建时设置）：在图的每一层中，每个节点允许的最大出边数量。在第零层，最大出边数量将是 2M。

EF_RUNTIME（在查询时可变）：在 KNN 搜索期间要保留的最大顶级候选数量（maximum top candidates）。更高的 EF_RUNTIME 值将导致更准确的结果，但也会增加运行时间。

使用数据集的 100 个最近邻的真实值来评估每个回复的准确性（召回率），并且我们对 M 在 4、8、16 和 32 个出边之间，EF_CONSTRUCTION 在 4、8、16 和 32 之间，以及 EF_RUNTIME 在 4、8、16、32、64、128、256、512、1024、2048、4096 和 8192 之间进行了调整。为确保结果可重现，每个配置都运行了 3 次，选择了最好的结果。

Redis 8 Community Edition 十亿规模基准测试

数据集：laion-img-emb-768-1G-cosine

客户端数量：501

绘制值：每秒请求数（RPS）| 平均延迟（秒）| 95百分位延迟（秒）| 索引时间（秒）

在我们之前的向量数据库基准测试博客中，我们专注于证明 Redis 是最快的向量数据库。现在我们证明，对于需要保持实时性延迟的使用场景，我们不仅是最快的向量数据库，我们还可以将向量数量从数百万扩展到数十亿。

测试结果

在十亿向量规模下，使用实时索引，Redis 8 社区版可以维持每秒 66K 向量插入，对于允许至少 95% 精确度（M 16 和 EF_CONSTRUCTION 32）的索引配置。对于导致较低精确度（M 4 和 EF_CONSTRUCTION 4）的索引配置，Redis 8 社区版可以支持高达每秒 160K 向量插入的速率。通过使用更多服务器可以进一步增加吞吐量。

对于高精确度查询，我们可以看到更大的 HNSW 索引（更高的 M 和 EF_CONSTRUCT）会提高搜索质量，但会增加延迟。在处理 50 个并发搜索请求时，我们在中位延迟（包括往返时间）为 200 毫秒的情况下达到 90% 精确度，而在中位延迟（包括往返时间）为 1.3 秒的情况下达到 95% 精确度。

由于所需的精确度和延迟权衡因使用场景而异，因此根据上面的图表调整 HNSW 参数非常重要。

Redis 8 证明了实时向量搜索不仅适用于数百万个向量，还能扩展到数十亿个向量，同时保持高性能。通过正确的 HNSW 调优，你可以在精确度、延迟和吞吐量之间取得平衡，以适应你的使用场景，实现高达 95% 的召回率和实时查询。无论你是在构建人工智能驱动的搜索、推荐引擎还是任何基于向量的应用程序，Redis 都能为你提供所需的快速、可扩展性能。

“

Redis

艾体宝是Redis企业版数据库的中国区战略合作伙伴，持续关注各行业当下急切需求，专注于为企业解答疑问，制定专属服务，提供一站式解决方案，艾体宝提供的Redis企业版数据库是无数企业数据安全保护路上的最佳合作选择！为企业的数据安全保驾护航！

审核编辑 黄宇