0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Redis官方搜索引擎来了,性能炸裂!

jf_ro2CN3Fa 来源:waynblog 2024-02-21 10:01 次阅读

RediSearch 简介

RediSearch 是一个 Redis 模块,为 Redis 提供查询、二级索引和全文搜索功能。

要使用 RediSearch 的功能,我们需要要先声明一个 index(类似于 Elasticsearch 的索引)。然后就可以使用 RediSearch 的查询语言来查询该索引下的数据。

RediSearch 内部使用压缩的倒排索引,所以可以用较低的内存占用来实现索引的快速构建。

目前 RediSearch 最新版支持的查询功能也比较丰富了,除了基本的文本分词还支持聚合统计、停用词、同义词、拼写检查、结果排序、标签查询、向量相似度查询以及中文分词等。

对比 Elasticsearch

基本硬件

f591b788-d059-11ee-a297-92fbcf53809c.png

数据源

f597dbd6-d059-11ee-a297-92fbcf53809c.png

RediSearch 配置

f59d903a-d059-11ee-a297-92fbcf53809c.png

Elasticsearch 配置

f5a6d76c-d059-11ee-a297-92fbcf53809c.png

版本

f5af12c4-d059-11ee-a297-92fbcf53809c.png

索引构建测试

在官方提供的索引构建测试中,RediSearch 用 221 秒的速度超过了 Elasticsearch 的 349 秒,领先 58%,

f5b4db00-d059-11ee-a297-92fbcf53809c.png

查询性能测试

通过数据集导入索引数据后,官方使用运行在专用负载生成器服务器上的 32 个客户端启动了两个词的搜索查询。

如下图所示,RediSearch 的吞吐量达到了 12.5K ops/sec,而 Elasticsearch 的吞吐量只有了 3.1K ops/sec,快了 4 倍。此外 RediSearch 的延迟稍好一些,平均为 8 毫秒,而 Elasticsearch 为 10 毫秒。(ops/sec 每秒操作数)

f5c08bc6-d059-11ee-a297-92fbcf53809c.png

由此可见,RediSearch 在性能上对比 RediSearch 有比较大的优势。

目前 RediSearch 已经更新到 2.0+ 版本,根据官方对于 RediSearch 2.0 版本介绍,与 RediSearch 1.6 相比,吞吐量和延迟相关的指标都提高了 2.4 倍。

RediSearch 安装

对于目前最新的 RediSearch 2.0 版本来说,官方推荐直接使用 redis-stack-server 镜像进行进行部署,也比较简单,

dockerrun-d--nameredis-stack-server-p6379:6379redis/redis-stack-server:latest

设置登录密码

//设置登录密码
dockerrun-eREDIS_ARGS="--requirepassredis-stack"redis/redis-stack:latest

通过 redis-cli 连接查看 RediSearch 是否安装了 search 模块,

redis-cli-hlocalhost

>MODULElist
...
3)1)"name"
2)"search"
3)"ver"
4)"20809"
5)"path"
6)"/opt/redis-stack/lib/redisearch.so"
7)"args"
8)1)"MAXSEARCHRESULTS"
2)"10000"
3)"MAXAGGREGATERESULTS"
4)"10000"
...

索引操作

FT.CREATE 创建索引命令

>FT.CREATEidx:goodsonhashprefix1"goods:"languagechineseschemagoodsNametextsortable
"OK"

FT.CREATE:创建索引命令

idx:goods:索引名称

on hash:索引关联的数据类型,这里指定索引基于 hash 类型的源数据构建

prefix 1 "goods:":表示索引关联的 hash 类型源数据前缀是 goods:

language chinese:表示支持中文语言分词

schema goodsName text sortable:表示字段定义,goodsName 表示元数据属性名,text 表示字段类型 sortable 表示该字段可以用于排序

添加索引时,直接使用 hset 命令添加一个 key 前缀是 "goods:" 的源数据。如下,

hsetgoods:1001goodsName小米手机
hsetgoods:1002goodsName华为手机

FT.SEARCH 查询索引

>FT.SEARCHidx:goods1"手机"
1)"2"
2)"goods:1001"
3)1)"goodsName"
2)"xe5xb0x8fxe7xb1xb3xe6x89x8bxe6x9cxba"
4)"goods:1002"
5)1)"goodsName"
2)"xe5x8dx8exe4xb8xbaxe6x89x8bxe6x9cxba"

FT.INFO 查询指定名称索引信息

>FT.INFOidx:goods
1)"index_name"
2)"idx:goods1"
3)"index_options"
4)(emptylistorset)
5)"index_definition"
6)1)"key_type"
2)"HASH"
3)"prefixes"
4)1)"goods:"
5)"default_language"
6)"chinese"
7)"default_score"
8)"1"
7)"attributes"
8)1)1)"identifier"
2)"goodsName"
3)"attribute"
4)"goodsName"
5)"type"
6)"TEXT"
7)"WEIGHT"
8)"1"
9)"SORTABLE"
...

FT.INFO 查询指定名称的索引信息

FT.DROPINDEX 删除索引名称

>FT.DROPINDEXidx:goods1
"OK"

FT.DROPINDEX 删除指定名称索引,不会删除 hash 类型的源数据

如果需要删除索引数据,直接使用 del 命令删除索引关联的源数据即可。

Java 使用 RediSearch

对于 Java 项目直接选用 Jedis4.0 以上版本就可以使用 RediSearch 提供的搜索功能,Jedis 在 4.0 以上版本自动支持 RediSearch,编写 Jedis 连接 RedisSearch 测试用例,用 RedisSearch 命令创建如下,

Jedis 创建 RediSearch 客户端

@Bean
publicUnifiedJedisunifiedJedis(GenericObjectPoolConfigjedisPoolConfig){
UnifiedJedisclient;
if(StringUtils.isNotEmpty(password)){
client=newJedisPooled(jedisPoolConfig,host,port,timeout,password,database);
}else{
client=newJedisPooled(jedisPoolConfig,host,port,timeout,null,database);
}
returnclient;
}

Jedis 创建索引

Schemaschema=newSchema()
.addSortableTextField("goodsName",1.0)
.addSortableTagField("tag","|");
IndexDefinitionrule=newIndexDefinition(IndexDefinition.Type.HASH)
.setPrefixes("idx:goods")
.setLanguage("chinese");#设置支持中文分词
client.ftCreate(idxName,
IndexOptions.defaultOptions().setDefinition(rule),
schema);

Jedis 添加索引源数据

publicbooleanaddGoodsIndex(StringkeyPrefix,Goodsgoods){
Maphash=MyBeanUtil.toMap(goods);
hash.put("_language","chinese");
client.hset("idx:goods"+goods.getGoodsId(),MyBeanUtil.toMap(goods));
returntrue;
}

Jedis 中文查询

publicSearchResultsearch(StringgoodsIdxName,SearchObjVOsearchObjVO,Pagepage){
//查询关键字
Stringkeyword=searchObjVO.getKeyword();
StringqueryKey=String.format("@goodsName:(%s)",keyword);
Queryq=newQuery(queryKey);
Stringsort=searchObjVO.getSidx();
Stringorder=searchObjVO.getOrder();
//查询是否排序
if(StringUtils.isNotBlank(sort)){
q.setSortBy(sort,Constants.SORT_ASC.equals(order));

}
//设置中文分词查询
q.setLanguage("chinese");
//设置分页
q.limit((int)page.offset(),(int)page.getSize());
//返回查询结果
returnclient.ftSearch(goodsIdxName,q);
}

最后聊两句

RediSearch 是这几年新出的一个全文搜索引擎,借助于 Redis 的成功,RediSearch 一出场就获得了较高的关注度。

目前来看,我个人使用 RediSearch 作为项目的全文搜索引擎已经够用了,它有易于安装、索引占用内存低、查询速度快等许多优点。不过在对 Redis 集群的支持上,RediSearch 目前只针对 Redis 企业版有解决方案,开源版还没有,这一点需要告诉大家。

如果想要在生产环境大规模使用,我还是不太建议的。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 生成器
    +关注

    关注

    7

    文章

    302

    浏览量

    20217
  • Hash
    +关注

    关注

    0

    文章

    32

    浏览量

    13105
  • Redis
    +关注

    关注

    0

    文章

    362

    浏览量

    10496

原文标题:换掉ES!Redis官方搜索引擎来了,性能炸裂!

文章出处:【微信号:芋道源码,微信公众号:芋道源码】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Windows引入AI助手!从搜索引擎、办公软件,到操作系统!微软带来的技术变革!

    人工智能助手“Windows Copilot”,以便用户能够在Windows系统中获得聊天机器人体验。   从搜索引擎到操作系统,微软带来的变革   微软是一家全球知名的科技企业,其最为著名和畅销的产品
    的头像 发表于 05-25 09:16 1726次阅读
    Windows引入AI助手!从<b class='flag-5'>搜索引擎</b>、办公软件,到操作系统!微软带来的技术变革!

    润和软件与新财富联合发布金融AI对话式搜索引擎“金融搜一搜”产品

    3月29日,新财富投顾嘉年华活动中,江苏润和软件股份有限公司(以下简称“润和软件”)与深圳市新财富数字科技有限责任公司(以下简称“新财富”)联合发布了金融AI对话式搜索引擎——“金融搜一搜”产品,助力金融投资场景智能化升级。
    的头像 发表于 04-02 10:15 112次阅读
    润和软件与新财富联合发布金融AI对话式<b class='flag-5'>搜索引擎</b>“金融搜一搜”产品

    微软向Windows 10/11推送更新,建议将Bing设为Chrome默认搜索引擎

    微软通过提示窗口表示,只要将Bing设为Chrome浏览器的默认搜索引擎,即可免费享用ChatGPT-4,且每天可与Bing人工智能进行数百次的对话交流。
    的头像 发表于 03-15 14:32 482次阅读

    生成式AI恐使搜索引擎衰退,预计2026年搜索量将下滑25%

    据市场分析机构Gartner报道,生成式AI对传统搜索引擎构成重大威胁,预计至2026年搜索量将降低25%。为此,企业需调整营销策略。
    的头像 发表于 02-20 10:04 224次阅读

    鸿蒙OS开发之 融合搜索概述

    HarmonyOS 融合搜索为开发者提供搜索引擎级的全文搜索能力,可支持应用内搜索和系统全局搜索,为用户提供更加准确、高效的
    的头像 发表于 01-29 16:24 181次阅读
    鸿蒙OS开发之  融合<b class='flag-5'>搜索</b>概述

    谷歌搜索引擎优化的各个方面和步骤

    谷歌搜索引擎是最受欢迎和广泛使用的搜索引擎之一,为了使你的网站在谷歌上更好地排名并提高曝光度,你可以采取一些谷歌搜索引擎优化的步骤。 使用关键字研究工具,如Google AdWords关键字规划工具
    的头像 发表于 01-25 10:29 299次阅读

    基于BERT算法搭建一个问答搜索引擎

    学习的新手发现BERT模型并不好搭建,上手难度很高,普通人可能要研究几天才能勉强搭建出一个模型。 没关系,今天我们介绍的这个模块,能让你在3分钟内基于BERT算法搭建一个问答搜索引擎。它就是 bert-as-service 项目。这个开源项目,能够让你基于多GPU机器快速搭建BERT服务(支持微
    的头像 发表于 10-30 11:46 343次阅读
    基于BERT算法搭建一个问答<b class='flag-5'>搜索引擎</b>

    网络爬虫 Python和数据分析

    网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件
    发表于 09-25 08:25

    FPGA加速视觉搜索引擎解决方案

    电子发烧友网站提供《FPGA加速视觉搜索引擎解决方案.pdf》资料免费下载
    发表于 09-13 10:32 1次下载
    FPGA加速视觉<b class='flag-5'>搜索引擎</b>解决方案

    百度、英伟达联合举办搜索创新大赛 搜索引擎变革 搜索+AI

    近日,百度文心一言宣布向全社会开放,首日,百度搜索就有超3亿次需求由生成式智能引擎解决;百度搜索“AI伙伴”当日访问用户数突破400万。 在这样的背景下,9月7日,以“新搜索·新奇点”
    的头像 发表于 09-07 19:32 721次阅读

    NVIDIA Ampere 架构的结构化稀疏功能及其在搜索引擎中的应用

    NVIDIA Ampere 架构的结构化稀疏功能 及其在搜索引擎中的应用 深度学习彻底改变了我们分析、理解和处理数据的方式,而且在各个领域的应用中都取得了巨大的成功,其在计算机视觉、自然语言处理
    的头像 发表于 07-18 17:45 307次阅读
    NVIDIA Ampere 架构的结构化稀疏功能及其在<b class='flag-5'>搜索引擎</b>中的应用

    Neeva宣布关闭其搜索引擎

    但打造搜索引擎实际上是很容易的部分。Ramaswamy和Raghunathan继续说道:“在整个过程中,我们发现打造搜索引擎是一回事,而说服普通用户需要转向更好的选择则是另一回事。”
    的头像 发表于 05-24 10:22 491次阅读

    使用Rust语言重写的代码搜索引擎黑鸟系统Blackbird正式启用

    其次,需要完全从头开始构建了一个新的代码搜索引擎。新的引擎需要非常快(大约是旧代码搜索速度的两倍),功能更强大(支持子字符串查询、正则表达式和符号搜索),并且理解代码,将最相关的结果放
    的头像 发表于 05-11 09:52 505次阅读
    使用Rust语言重写的代码<b class='flag-5'>搜索引擎</b>黑鸟系统Blackbird正式启用

    每当连接到WI-FI时给我code6,无法在搜索引擎中输入它怎么了?

    每当连接到 WI-FI 时给我 code6 嗨,我无法在搜索引擎中输入它!怎么了?
    发表于 05-10 11:01

    微软GPT-4搜索引擎重大升级 新Bing开放AI能力

    微软GPT-4搜索引擎重大升级 新Bing开放AI能力 微软和OpenAI合作将人工智能技术应用于必应搜索来了更多不一样的搜索体验。 此前Open AI发布了新一代大型人工智能语言训
    的头像 发表于 05-05 17:15 2239次阅读