0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何优化MySQL百万数据的深分页问题

数据分析与开发 来源:数据分析与开发 作者:数据分析与开发 2022-04-06 15:12 次阅读

前言

我们日常做分页需求时,一般会用limit实现,但是当偏移量特别大的时候,查询效率就变得低下。本文将分四个方案,讨论如何优化MySQL百万数据的深分页问题,并附上最近优化生产慢SQL的实战案例。

limit深分页为什么会变慢?

先看下表结构哈:

CREATETABLEaccount(
idint(11)NOTNULLAUTO_INCREMENTCOMMENT'主键Id',
namevarchar(255)DEFAULTNULLCOMMENT'账户名',
balanceint(11)DEFAULTNULLCOMMENT'余额',
create_timedatetimeNOTNULLCOMMENT'创建时间',
update_timedatetimeNOTNULLONUPDATECURRENT_TIMESTAMPCOMMENT'更新时间',
PRIMARYKEY(id),
KEYidx_name(name),
KEYidx_update_time(update_time)//索引
)ENGINE=InnoDBAUTO_INCREMENT=1570068DEFAULTCHARSET=utf8ROW_FORMAT=REDUNDANTCOMMENT='账户表';

假设深分页的执行SQL如下:

selectid,name,balancefromaccountwhereupdate_time>'2020-09-19'limit100000,10;

这个SQL的执行时间如下:

40531d44-ac98-11ec-aa7f-dac502259ad0.png

执行完需要0.742秒,深分页为什么会变慢呢?如果换成 limit 0,10,只需要0.006秒哦

40691572-ac98-11ec-aa7f-dac502259ad0.png

我们先来看下这个SQL的执行流程:

  1. 通过普通二级索引树idx_update_time,过滤update_time条件,找到满足条件的记录ID。
  2. 通过ID,回到主键索引树,找到满足记录的行,然后取出展示的列(回表
  3. 扫描满足条件的100010行,然后扔掉前100000行,返回。
407d71e8-ac98-11ec-aa7f-dac502259ad0.pngSQL的执行流程

执行计划如下:40962e2c-ac98-11ec-aa7f-dac502259ad0.png

SQL变慢原因有两个

  1. limit语句会先扫描offset+n行,然后再丢弃掉前offset行,返回后n行数据。也就是说limit 100000,10,就会扫描100010行,而limit 0,10,只扫描10行。
  2. limit 100000,10 扫描更多的行数,也意味着回表更多的次数。

通过子查询优化

因为以上的SQL,回表了100010次,实际上,我们只需要10条数据,也就是我们只需要10次回表其实就够了。因此,我们可以通过减少回表次数来优化。

回顾B+ 树结构

那么,如何减少回表次数呢?我们先来复习下B+树索引结构哈~

InnoDB中,索引分主键索引(聚簇索引)和二级索引

  • 主键索引,叶子节点存放的是整行数据
  • 二级索引,叶子节点存放的是主键的值
40a51554-ac98-11ec-aa7f-dac502259ad0.png

把条件转移到主键索引树

如果我们把查询条件,转移回到主键索引树,那就可以减少回表次数啦。转移到主键索引树查询的话,查询条件得改为主键id了,之前SQL的update_time这些条件咋办呢?抽到子查询那里嘛~

子查询那里怎么抽的呢?因为二级索引叶子节点是有主键ID的,所以我们直接根据update_time来查主键ID即可,同时我们把 limit 100000的条件,也转移到子查询,完整SQL如下:

selectid,name,balanceFROMaccountwhereid>=(selecta.idfromaccountawherea.update_time>='2020-09-19'limit100000,1)LIMIT10;写漏了,可以补下时间条件在外面

查询效果一样的,执行时间只需要0.038秒!

40b9fe4c-ac98-11ec-aa7f-dac502259ad0.png

我们来看下执行计划40d10f74-ac98-11ec-aa7f-dac502259ad0.png

由执行计划得知,子查询 table a查询是用到了idx_update_time索引。首先在索引上拿到了聚集索引的主键ID,省去了回表操作,然后第二查询直接根据第一个查询的 ID往后再去查10个就可以了!

40e8d01e-ac98-11ec-aa7f-dac502259ad0.png

因此,这个方案是可以的~

INNER JOIN 延迟关联

延迟关联的优化思路,跟子查询的优化思路其实是一样的:都是把条件转移到主键索引树,然后减少回表。不同点是,延迟关联使用了inner join代替子查询。

优化后的SQL如下:

SELECTacct1.id,acct1.name,acct1.balanceFROMaccountacct1INNERJOIN(SELECTa.idFROMaccountaWHEREa.update_time>='2020-09-19'ORDERBYa.update_timeLIMIT100000,10)ASacct2onacct1.id=acct2.id;

查询效果也是杠杆的,只需要0.034秒

40faef56-ac98-11ec-aa7f-dac502259ad0.png

执行计划如下:

410e2580-ac98-11ec-aa7f-dac502259ad0.png

查询思路就是,先通过idx_update_time二级索引树查询到满足条件的主键ID,再与原表通过主键ID内连接,这样后面直接走了主键索引了,同时也减少了回表。

标签记录法

limit 深分页问题的本质原因就是:偏移量(offset)越大,mysql就会扫描越多的行,然后再抛弃掉。这样就导致查询性能的下降

其实我们可以采用标签记录法,就是标记一下上次查询到哪一条了,下次再来查的时候,从该条开始往下扫描。就好像看书一样,上次看到哪里了,你就折叠一下或者夹个书签,下次来看的时候,直接就翻到啦

假设上一次记录到100000,则SQL可以修改为:

selectid,name,balanceFROMaccountwhereid>100000orderbyidlimit10;

这样的话,后面无论翻多少页,性能都会不错的,因为命中了id索引。但是这种方式有局限性:需要一种类似连续自增的字段。

使用between...and...

很多时候,可以将limit查询转换为已知位置的查询,这样MySQL通过范围扫描between...and,就能获得到对应的结果。

如果知道边界值为100000,100010后,就可以这样优化:

selectid,name,balanceFROMaccountwhereidbetween100000and100010orderbyid;

手把手实战案例

我们一起来看一个实战案例哈。假设现在有表结构如下,并且有200万数据.

CREATETABLEaccount(
idvarchar(32)COLLATEutf8_binNOTNULLCOMMENT'主键',
account_novarchar(64)COLLATEutf8_binNOTNULLDEFAULT''COMMENT'账号'
amountdecimal(20,2)DEFAULTNULLCOMMENT'金额'
typevarchar(10)COLLATEutf8_binDEFAULTNULLCOMMENT'类型A,B'
create_timedatetimeDEFAULTNULLCOMMENT'创建时间',
update_timedatetimeDEFAULTNULLCOMMENT'更新时间',
PRIMARYKEY(id),
KEY`idx_account_no`(account_no),
KEY`idx_create_time`(create_time)
)ENGINE=InnoDBDEFAULTCHARSET=utf8COLLATE=utf8_binCOMMENT='账户表'

业务需求是这样:获取最2021年的A类型账户数据,上报到大数据平台。

一般思路的实现方式

很多伙伴接到这么一个需求,会直接这么实现了:

//查询上报总数量
Integertotal=accountDAO.countAccount();

//查询上报总数量对应的SQL
'countAccount'resultType="java.lang.Integer">
seelctcount(1)
fromaccount
wherecreate_time>='2021-01-010000'
andtype='A'


//计算页数
intpageNo=total%pageSize==0?total/pageSize:(total/pageSize+1);

//分页查询,上报
for(inti=0;i< pageNo; i++){
 Listlist=accountDAO.listAccountByPage(startRow,pageSize);
startRow=(pageNo-1)*pageSize;
//上报大数据
postBigData(list);
}

//分页查询SQL(可能存在limit深分页问题,因为account表数据量几百万)
'listAccountByPage'>
seelct*
fromaccount
wherecreate_time>='2021-01-010000'
andtype='A'
limit#{startRow},#{pageSize}

实战优化方案

以上的实现方案,会存在limit深分页问题,因为account表数据量几百万。那怎么优化呢?

其实可以使用标签记录法,有些伙伴可能会有疑惑,id主键不是连续的呀,真的可以使用标签记录?

当然可以,id不是连续,我们可以通过order by让它连续嘛。优化方案如下:

//查询最小ID
StringlastId=accountDAO.queryMinId();

//查询最小ID对应的SQL
"queryMinId"returnType=“java.lang.String”>
selectMIN(id)
fromaccount
wherecreate_time>='2021-01-010000'
andtype='A'


//一页的条数
IntegerpageSize=100;

Listlist;
do{
list=listAccountByPage(lastId,pageSize);
//标签记录法,记录上次查询过的Id
lastId=list.get(list,size()-1).getId();
//上报大数据
postBigData(list);
}while(CollectionUtils.isNotEmpty(list));

"listAccountByPage">
select*
fromaccount
wherecreate_time>='2021-01-010000'
andid>#{lastId}
andtype='A'
orderbyidasc
limit#{pageSize}


审核编辑 :李倩


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • SQL
    SQL
    +关注

    关注

    1

    文章

    762

    浏览量

    44089
  • MySQL
    +关注

    关注

    1

    文章

    802

    浏览量

    26466

原文标题:聊聊如何解决 MySQL 深分页问题

文章出处:【微信号:DBDevs,微信公众号:数据分析与开发】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    香港云服务器怎么部署MySQL数据库?

    在香港云服务器上部署MySQL数据库的步骤如下: 步骤 1: 更新软件包列表 首先,确保软件包列表是最新的。在终端中执行以下命令: sudo apt update 步骤 2: 安装 MySQL
    的头像 发表于 11-14 16:15 127次阅读

    适用于MySQL的dbForge架构比较

    dbForge Schema Compare for MySQL 是一种工具,用于轻松有效地比较和部署 MySQL 数据库结构和脚本文件夹差异。该工具提供了 MySQL
    的头像 发表于 10-28 09:41 166次阅读
    适用于<b class='flag-5'>MySQL</b>的dbForge架构比较

    MySQL性能优化浅析及线上案例

    作者:京东健康 孟飞 1、 数据库性能优化的意义 业务发展初期,数据库中量一般都不高,也不太容易出一些性能问题或者出的问题也不大,但是当数据库的量级达到一定规模之后,如果缺失有效的预警
    的头像 发表于 10-22 15:17 651次阅读
    <b class='flag-5'>MySQL</b>性能<b class='flag-5'>优化</b>浅析及线上案例

    如何将MS访问数据转换为MySQL

    借助dbForgeStudio for MySQL,您可以轻松地将数据从MicrosoftAccess迁移到MySQL,并保持数据和功能的完整性。这个过程将允许您利用更具可伸缩性和功能
    的头像 发表于 01-23 13:47 413次阅读
    如何将MS访问<b class='flag-5'>数据</b>转换为<b class='flag-5'>MySQL</b>

    MySQL密码忘记了怎么办?MySQL密码快速重置方法步骤命令示例!

    MySQL密码忘记了怎么办?MySQL密码快速重置方法步骤命令示例! MySQL是一种常用的关系型数据库管理系统,如果你忘记了MySQL的密
    的头像 发表于 01-12 16:06 729次阅读

    怎么简单实现由Labview读取的串口数据自增写入mysql5.7数据库中?

    怎么简单实现由Labview读取的串口数据自增写入mysql5.7数据库中? 已实现:串口数据的接收处理 mysql5.7的安装(已测试
    发表于 01-11 22:05

    mysql怎么新建一个数据

    mysql怎么新建一个数据库 如何新建一个数据库在MySQL中 创建一个数据库是MySQL中的基
    的头像 发表于 12-28 10:01 866次阅读

    mysql密码忘了怎么重置

    mysql密码忘了怎么重置  MySQL是一种开源的关系型数据库管理系统,密码用于保护数据库的安全性和保密性。如果你忘记了MySQL的密码,
    的头像 发表于 12-27 16:51 6539次阅读

    MySQL的执行过程 SQL语句性能优化常用策略

    回顾 MySQL 的执行过程,帮助介绍如何进行 sql 优化
    的头像 发表于 12-12 10:26 634次阅读
    <b class='flag-5'>MySQL</b>的执行过程 SQL语句性能<b class='flag-5'>优化</b>常用策略

    MySQL执行过程:如何进行sql 优化

    (1)客户端发送一条查询语句到服务器; (2)服务器先查询缓存,如果命中缓存,则立即返回存储在缓存中的数据; (3)未命中缓存后,MySQL 通过关键字将 SQL 语句进行解析,并生成一颗对应的解析树,MySQL 解析器将使用
    的头像 发表于 12-12 10:19 386次阅读
    <b class='flag-5'>MySQL</b>执行过程:如何进行sql <b class='flag-5'>优化</b>

    数据数据恢复—未开启binlog的Mysql数据数据恢复案例

    mysql数据数据恢复环境: 本地服务器,windows server操作系统 ,部署有mysql单实例,数据库引擎类型为innodb,
    的头像 发表于 12-08 14:18 1109次阅读
    <b class='flag-5'>数据</b>库<b class='flag-5'>数据</b>恢复—未开启binlog的<b class='flag-5'>Mysql</b><b class='flag-5'>数据</b>库<b class='flag-5'>数据</b>恢复案例

    eclipse怎么连接数据mysql

    连接Eclipse和MySQL数据库可以通过JDBC(Java Database Connectivity)来实现。以下是详细步骤: 下载并安装MySQL数据库:你首先需要下载并安装
    的头像 发表于 12-06 11:06 1237次阅读

    MySQL数据库的url地址

    MySQL数据库的URL地址是用于连接到MySQL服务器的地址。URL是一种统一资源定位符,用于指定特定资源的位置和访问方式。MySQL数据
    的头像 发表于 12-06 10:58 2591次阅读

    mysql数据库基础命令

    MySQL是一个流行的关系型数据库管理系统,经常用于存储、管理和操作数据。在本文中,我们将详细介绍MySQL的基础命令,并提供与每个命令相关的详细解释。 登录
    的头像 发表于 12-06 10:56 560次阅读

    oracle和mysql语法区别大吗

    Oracle和MySQL是两种不同的关系型数据库管理系统(RDBMS)。虽然它们都是遵循SQL标准,但在语法和特性上仍存在一些区别。以下是对Oracle和MySQL语法区别的详细说明: 数据
    的头像 发表于 12-06 10:26 1148次阅读