几个写SQL时常见的“坏毛病”及优化技巧
今天给大家分享几个写 SQL 时常见的“坏毛病”及优化技巧。
1、LIMIT 语句
分页查询是最常用的场景之一，但也通常也是最容易出问题的地方。比如对于下面简单的语句，一般 DBA 想到的办法是在 type、 name、 create_time 字段上加组合索引。这样条件排序都能有效的利用到索引，性能迅速提升。
SELECT*
FROMoperation
WHEREtype='SQLStats'
ANDname='SlowLog'
ORDERBYcreate_time
LIMIT1000,10;
好吧，可能90%以上的 DBA 解决该问题就到此为止。但当 LIMIT 子句变成 “LIMIT 1000000,10” 时，程序员仍然会抱怨：我只取10条记录为什么还是慢？
要知道数据库也并不知道第1000000条记录从什么地方开始，即使有索引也需要从头计算一次。出现这种性能问题，多数情形下是程序员偷懒了。
在前端数据浏览翻页，或者大数据分批导出等场景下，是可以将上一页的最大值当成参数作为查询条件的。SQL 重新设计如下：
SELECT*
FROMoperation
WHEREtype='SQLStats'
ANDname='SlowLog'
ANDcreate_time>'2017-03-161400'
ORDERBYcreate_timelimit10;
2、隐式转换
SQL语句中查询变量和字段定义类型不匹配是另一个常见的错误。比如下面的语句：
mysql>explainextendedSELECT*
>FROMmy_balanceb
>WHEREb.bpn=14000000123
>ANDb.isverifiedISNULL;
mysql>showwarnings;
|Warning|1739|Cannotuserefaccessonindex'bpn'duetotypeorcollationconversiononfield'bpn'
其中字段 bpn 的定义为 varchar(20)，MySQL 的策略是将字符串转换为数字之后再比较。函数作用于表字段，索引失效。
上述情况可能是应用程序框架自动填入的参数，而不是程序员的原意。现在应用框架很多很繁杂，使用方便的同时也小心它可能给自己挖坑。
3、关联更新、删除
虽然 MySQL5.6 引入了物化特性，但需要特别注意它目前仅仅针对查询语句的优化。对于更新或删除需要手工重写成 JOIN。
比如下面 UPDATE 语句，MySQL 实际执行的是循环/嵌套子查询（DEPENDENT SUBQUERY)，其执行时间可想而知。
UPDATEoperationo
SETstatus='applying'
WHEREo.idIN(SELECTid
FROM(SELECTo.id,
o.status
FROMoperationo
WHEREo.group=123
ANDo.statusNOTIN('done')
ORDERBYo.parent,
o.id
LIMIT1)t);
执行计划：
+----+--------------------+-------+-------+---------------+---------+---------+-------+------+-----------------------------------------------------+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+--------------------+-------+-------+---------------+---------+---------+-------+------+-----------------------------------------------------+
|1|PRIMARY|o|index||PRIMARY|8||24|Usingwhere;Usingtemporary|
|2|DEPENDENTSUBQUERY||||||||ImpossibleWHEREnoticedafterreadingconsttables|
|3|DERIVED|o|ref|idx_2,idx_5|idx_5|8|const|1|Usingwhere;Usingfilesort|
+----+--------------------+-------+-------+---------------+---------+---------+-------+------+-----------------------------------------------------+
重写为 JOIN 之后，子查询的选择模式从 DEPENDENT SUBQUERY 变成 DERIVED，执行速度大大加快，从7秒降低到2毫秒。
UPDATEoperationo
JOIN(SELECTo.id,
o.status
FROMoperationo
WHEREo.group=123
ANDo.statusNOTIN('done')
ORDERBYo.parent,
o.id
LIMIT1)t
ONo.id=t.id
SETstatus='applying'
执行计划简化为：
+----+-------------+-------+------+---------------+-------+---------+-------+------+-----------------------------------------------------+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+-------------+-------+------+---------------+-------+---------+-------+------+-----------------------------------------------------+
|1|PRIMARY||||||||ImpossibleWHEREnoticedafterreadingconsttables|
|2|DERIVED|o|ref|idx_2,idx_5|idx_5|8|const|1|Usingwhere;Usingfilesort|
+----+-------------+-------+------+---------------+-------+---------+-------+------+-----------------------------------------------------+
4、混合排序
MySQL 不能利用索引进行混合排序。但在某些场景，还是有机会使用特殊方法提升性能的。
SELECT*
FROMmy_ordero
INNERJOINmy_appraiseaONa.orderid=o.id
ORDERBYa.is_replyASC,
a.appraise_timeDESC
LIMIT0,20
执行计划显示为全表扫描：
+----+-------------+-------+--------+-------------+---------+---------+---------------+---------+-+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra
+----+-------------+-------+--------+-------------+---------+---------+---------------+---------+-+
|1|SIMPLE|a|ALL|idx_orderid|NULL|NULL|NULL|1967647|Usingfilesort|
|1|SIMPLE|o|eq_ref|PRIMARY|PRIMARY|122|a.orderid|1|NULL|
+----+-------------+-------+--------+---------+---------+---------+-----------------+---------+-+
由于 is_reply 只有0和1两种状态，我们按照下面的方法重写后，执行时间从1.58秒降低到2毫秒。
SELECT*
FROM((SELECT*
FROMmy_ordero
INNERJOINmy_appraisea
ONa.orderid=o.id
ANDis_reply=0
ORDERBYappraise_timeDESC
LIMIT0,20)
UNIONALL
(SELECT*
FROMmy_ordero
INNERJOINmy_appraisea
ONa.orderid=o.id
ANDis_reply=1
ORDERBYappraise_timeDESC
LIMIT0,20))t
ORDERBYis_replyASC,
appraisetimeDESC
LIMIT20;
5、EXISTS语句
MySQL 对待 EXISTS 子句时，仍然采用嵌套子查询的执行方式。如下面的 SQL 语句：
SELECT*
FROMmy_neighborn
LEFTJOINmy_neighbor_applysra
ONn.id=sra.neighbor_id
ANDsra.user_id='xxx'
WHEREn.topic_status< 4
AND EXISTS(SELECT 1
FROM message_info m
WHERE n.id = m.neighbor_id
AND m.inuser = 'xxx')
ANDn.topic_type<>5
执行计划为：
+----+--------------------+-------+------+-----+------------------------------------------+---------+-------+---------+-----+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+--------------------+-------+------+-----+------------------------------------------+---------+-------+---------+-----+
|1|PRIMARY|n|ALL||NULL|NULL|NULL|1086041|Usingwhere|
|1|PRIMARY|sra|ref||idx_user_id|123|const|1|Usingwhere|
|2|DEPENDENTSUBQUERY|m|ref||idx_message_info|122|const|1|Usingindexcondition;Usingwhere|
+----+--------------------+-------+------+-----+------------------------------------------+---------+-------+---------+-----+
去掉 exists 更改为 join，能够避免嵌套子查询，将执行时间从1.93秒降低为1毫秒。
SELECT*
FROMmy_neighborn
INNERJOINmessage_infom
ONn.id=m.neighbor_id
ANDm.inuser='xxx'
LEFTJOINmy_neighbor_applysra
ONn.id=sra.neighbor_id
ANDsra.user_id='xxx'
WHEREn.topic_status< 4
AND n.topic_type <>5
新的执行计划：
+----+-------------+-------+--------+-----+------------------------------------------+---------+-----+------+-----+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+-------------+-------+--------+-----+------------------------------------------+---------+-----+------+-----+
|1|SIMPLE|m|ref||idx_message_info|122|const|1|Usingindexcondition|
|1|SIMPLE|n|eq_ref||PRIMARY|122|ighbor_id|1|Usingwhere|
|1|SIMPLE|sra|ref||idx_user_id|123|const|1|Usingwhere|
+----+-------------+-------+--------+-----+------------------------------------------+---------+-----+------+-----+
6、条件下推
外部查询条件不能够下推到复杂的视图或子查询的情况有：
- 聚合子查询；
- 含有 LIMIT 的子查询；
- UNION 或 UNION ALL 子查询；
- 输出字段中的子查询；
如下面的语句，从执行计划可以看出其条件作用于聚合子查询之后
SELECT*
FROM(SELECTtarget,
Count(*)
FROMoperation
GROUPBYtarget)t
WHEREtarget='rm-xxxx'
+----+-------------+------------+-------+---------------+-------------+---------+-------+------+-------------+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+-------------+------------+-------+---------------+-------------+---------+-------+------+-------------+
|1|PRIMARY||ref|||514|const|2|Usingwhere|
|2|DERIVED|operation|index|idx_4|idx_4|519|NULL|20|Usingindex|
+----+-------------+------------+-------+---------------+-------------+---------+-------+------+-------------+
确定从语义上查询条件可以直接下推后，重写如下：
SELECTtarget,
Count(*)
FROMoperation
WHEREtarget='rm-xxxx'
GROUPBYtarget
执行计划变为：
+----+-------------+-----------+------+---------------+-------+---------+-------+------+--------------------+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+-------------+-----------+------+---------------+-------+---------+-------+------+--------------------+
|1|SIMPLE|operation|ref|idx_4|idx_4|514|const|1|Usingwhere;Usingindex|
+----+-------------+-----------+------+---------------+-------+---------+-------+------+--------------------+
7、提前缩小范围
先上初始 SQL 语句：
SELECT*
FROMmy_ordero
LEFTJOINmy_userinfou
ONo.uid=u.uid
LEFTJOINmy_productinfop
ONo.pid=p.pid
WHERE(o.display=0)
AND(o.ostaus=1)
ORDERBYo.selltimeDESC
LIMIT0,15
该SQL语句原意是：先做一系列的左连接，然后排序取前15条记录。从执行计划也可以看出，最后一步估算排序记录数为90万，时间消耗为12秒。
+----+-------------+-------+--------+---------------+---------+---------+-----------------+--------+----------------------------------------------------+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+-------------+-------+--------+---------------+---------+---------+-----------------+--------+----------------------------------------------------+
|1|SIMPLE|o|ALL|NULL|NULL|NULL|NULL|909119|Usingwhere;Usingtemporary;Usingfilesort|
|1|SIMPLE|u|eq_ref|PRIMARY|PRIMARY|4|o.uid|1|NULL|
|1|SIMPLE|p|ALL|PRIMARY|NULL|NULL|NULL|6|Usingwhere;Usingjoinbuffer(BlockNestedLoop)|
+----+-------------+-------+--------+---------------+---------+---------+-----------------+--------+----------------------------------------------------+
由于最后 WHERE 条件以及排序均针对最左主表，因此可以先对 my_order 排序提前缩小数据量再做左连接。SQL 重写后如下，执行时间缩小为1毫秒左右。
SELECT*
FROM(
SELECT*
FROMmy_ordero
WHERE(o.display=0)
AND(o.ostaus=1)
ORDERBYo.selltimeDESC
LIMIT0,15
)o
LEFTJOINmy_userinfou
ONo.uid=u.uid
LEFTJOINmy_productinfop
ONo.pid=p.pid
ORDERBYo.selltimeDESC
limit0,15
再检查执行计划：子查询物化后（select_type=DERIVED)参与 JOIN。虽然估算行扫描仍然为90万，但是利用了索引以及 LIMIT 子句后，实际执行时间变得很小。
+----+-------------+------------+--------+---------------+---------+---------+-------+--------+----------------------------------------------------+
|id|select_type|table|type|possible_keys|key|key_len|ref|rows|Extra|
+----+-------------+------------+--------+---------------+---------+---------+-------+--------+----------------------------------------------------+
|1|PRIMARY||ALL|NULL|NULL|NULL|NULL|15|Usingtemporary;Usingfilesort|
|1|PRIMARY|u|eq_ref|PRIMARY|PRIMARY|4|o.uid|1|NULL|
|1|PRIMARY|p|ALL|PRIMARY|NULL|NULL|NULL|6|Usingwhere;Usingjoinbuffer(BlockNestedLoop)|
|2|DERIVED|o|index|NULL|idx_1|5|NULL|909112|Usingwhere|
+----+-------------+------------+--------+---------------+---------+---------+-------+--------+----------------------------------------------------+
8、中间结果集下推
再来看下面这个已经初步优化过的例子(左连接中的主表优先作用查询条件)：
SELECTa.*,
c.allocated
FROM(
SELECTresourceid
FROMmy_distributed
WHEREisdelete=0
ANDcusmanagercode='1234567'
ORDERBYsalecodelimit20)a
LEFTJOIN
(
SELECTresourcesid，sum(ifnull(allocation,0)*12345)allocated
FROMmy_resources
GROUPBYresourcesid)c
ONa.resourceid=c.resourcesid
那么该语句还存在其它问题吗？不难看出子查询 c 是全表聚合查询，在表数量特别大的情况下会导致整个语句的性能下降。
其实对于子查询 c，左连接最后结果集只关心能和主表 resourceid 能匹配的数据。因此我们可以重写语句如下，执行时间从原来的2秒下降到2毫秒。
SELECTa.*,
c.allocated
FROM(
SELECTresourceid
FROMmy_distributed
WHEREisdelete=0
ANDcusmanagercode='1234567'
ORDERBYsalecodelimit20)a
LEFTJOIN
(
SELECTresourcesid，sum(ifnull(allocation,0)*12345)allocated
FROMmy_resourcesr,
(
SELECTresourceid
FROMmy_distributed
WHEREisdelete=0
ANDcusmanagercode='1234567'
ORDERBYsalecodelimit20)a
WHEREr.resourcesid=a.resourcesid
GROUPBYresourcesid)c
ONa.resourceid=c.resourcesid
但是子查询 a 在我们的SQL语句中出现了多次。这种写法不仅存在额外的开销，还使得整个语句显的繁杂。使用 WITH 语句再次重写：
WITHaAS
(
SELECTresourceid
FROMmy_distributed
WHEREisdelete=0
ANDcusmanagercode='1234567'
ORDERBYsalecodelimit20)
SELECTa.*,
c.allocated
FROMa
LEFTJOIN
(
SELECTresourcesid，sum(ifnull(allocation,0)*12345)allocated
FROMmy_resourcesr,
a
WHEREr.resourcesid=a.resourcesid
GROUPBYresourcesid)c
ONa.resourceid=c.resourcesid
总结
数据库编译器产生执行计划，决定着SQL的实际执行方式。但是编译器只是尽力服务，所有数据库的编译器都不是尽善尽美的。
上述提到的多数场景，在其它数据库中也存在性能问题。了解数据库编译器的特性，才能避规其短处，写出高性能的SQL语句。
程序员在设计数据模型以及编写SQL语句时，要把算法的思想或意识带进来。
编写复杂SQL语句要养成使用 WITH 语句的习惯。简洁且思路清晰的SQL语句也能减小数据库的负担 。
审核编辑 ：李倩
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
SQL
+关注
关注
1文章
789浏览量
46371 -
数据库
+关注
关注
7文章
3993浏览量
67737 -
编译器
+关注
关注
1文章
1669浏览量
51082
原文标题：这样写 SQL，差点人没了
文章出处：【微信号：cxuangoodjob，微信公众号：程序员cxuan】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
热点推荐
数据库慢查询分析与SQL优化实战技巧
今天，我将分享我在处理数千次数据库性能问题中积累的实战经验，帮助你系统掌握慢查询分析与SQL优化的核心技巧。无论你是刚入门的运维新手，还是有一定经验的工程师，这篇文章都将为你提供实用的解决方案。
数据库性能瓶颈分析与SQL优化实战案例
作为一名在一线摸爬滚打8年的运维工程师，我见过太多因为数据库性能问题而半夜被叫醒的场景。今天分享几个真实的优化案例，希望能帮你避开这些坑。
SQL 通用数据类型
SQL 通用数据类型 数据库表中的每个列都要求有名称和数据类型。Each column in a database table is required to have a name and a
Text2SQL准确率暴涨22.6%！3大维度全拆
摘要 技术背景：Text2SQL 是将自然语言查询转为 SQL 的任务，经历了基于规则、神经网络、预训练语言模型、大语言模型四个阶段。当前面临提示优化、模型训练、推理时增强三大难题，研究
数据库数据恢复—SQL Server数据库被加密如何恢复数据？
SQL Server数据库故障：
SQL Server数据库被加密，无法使用。
数据库MDF、LDF、log日志文件名字被篡改。
大促数据库压力激增，如何一眼定位 SQL 执行来源？
你是否曾经遇到过这样的情况：在大促活动期间，用户访问量骤增，数据库的压力陡然加大，导致响应变慢甚至服务中断？更让人头疼的是，当你试图快速定位问题所在时，却发现难以确定究竟是哪个业务逻辑中的 SQL
如何一眼定位SQL的代码来源：一款SQL染色标记的简易MyBatis插件
作者：京东物流 郭忠强 导语 本文分析了后端研发和运维在日常工作中所面临的线上SQL定位排查痛点，基于姓名贴的灵感，设计和开发了一款SQL染色标记的MyBatis插件。该插件轻量高效，对业务代码无
Devart: dbForge Compare Bundle for SQL Server—比较SQL数据库最简单、最准确的方法
dbForge Compare Bundle For SQL Server：包含两个工具，可帮助您节省用于手动数据库比较的 70% 的时间 dbForge数据比较 帮助检测和分析实时SQL数据库
dbForge Studio For SQL Server：用于有效开发的最佳SQL Server集成开发环境
dbForge Studio For SQL Server：用于有效开发的最佳SQL Server集成开发环境 SQL编码助手 SQL代码分析 查询分析器 可视化查询生成器 数据和模式
Devart::dbForge SQL Complete让生产力上一个台阶
SQL编码助手，适用于SSMS 和VS 该工具提供上下文感知的代码补全，使SQL开发人员和数据库管理员能够更快地编写代码。 SQL Complet包含许多实用的功能，这些功能是专门为提高开发团队
通过Skyvia Connect SQL终端节点访问任何数据
通过 Skyvia Connect SQL 终端节点访问任何数据 通过 Skyvia Connect SQL 终端节点访问任何数据ADO.NET 数据网关 使用 Skyvia Connect
浅谈SQL优化小技巧
作者：京东零售 王军 回顾：MySQL的执行过程回顾 MySQL的执行过程，帮助 介绍 如何进行sql优化。 （1）客户端发送一条查询语句到服务器； （2）服务器先查询缓存，如果命中缓存，则立即返回
SSM框架的性能优化技巧 SSM框架中RESTful API的实现
缓存操作。 优化SQL查询 ： SQL查询是数据库操作中的瓶颈之一。 使用索引来加速查询，避免全表扫描，尽量使用索引扫描。
ARM在通过IIC给ADS1100A0写数据的时候卡住了怎么解决?
最近做了一批板子，程序下进去运行就死机，后来发现是ARM在通过IIC给ADS1100A0写数据的时候卡住了，Debug发现写数据AD0回复的是NotACK，把器件地址换成ADS1100A1的器件
发表于 12-13 07:52
工商网监
评论