分页查询的优化

2021-05-15 18:00:32 阅读：91 来源： 互联网

我们有分页查询订单详细信息的需求，订单表目前有300多万的数据，而且order表在orderNo列上有索引，传统的写法可能使用limit offset, pageSize的写法来实现，但是有一个问题，在offset非常大的时候，查询会很慢，因为会使Mysql扫描大量的无用行，然后再扔掉，例如下面这样的语句。

select orderNo, state, payType, ctime 
from `order` 
order by orderNo limit 2000000, 20;

结果用了13秒才查出来，性能上是无法接受的，我们可以优化一下

一、使用索引优化：

由于上面的问题最重要的原因是扫描了大量无用的行，所以我们就从这里入手，我们知道orderNo列是索引的，我们可以想过办法通过索引覆盖查询来查出必要的需要扫描的行，然后再去扫描实际的数据行

例如，可以改成下面这样

select orderNo, state, payType, ctime 
from `order` inner join (
  select orderNo 
  from `order`
  order by orderNo limit 2000000, 20
) as o using(orderNo);

通过上面的改写，原本13秒的查询只需要0.5秒便实现了，效果相当明显

这是因为inner join的表通过索引覆盖查询直接通过索引找到了需要返回的数据行，然后order表通过与这个派生表进行关联，只扫描20行数据就可以了。

上述的using命令作用等价于join操作中的on，例如a和b根据id字段关联，那么以下等价 using(id) ~ on a.id=b.id。

二、使用子查询优化

这种方式先定位偏移位置的 id，然后往后查询，这种方式适用于 id 递增的情况。

select * from orders_history where type=8 limit 100000,1;

select id from orders_history where type=8 limit 100000,1;

select * from orders_history where type=8 and 
id>=(select id from orders_history where type=8 limit 100000,1) 
limit 100;

select * from orders_history where type=8 limit 100000,100;

4条语句的查询时间如下：

第1条语句：3674ms
第2条语句：1315ms
第3条语句：1327ms
第4条语句：3710ms

针对上面的查询需要注意：

比较第1条语句和第2条语句：使用 select id 代替 select * 速度增加了3倍
比较第2条语句和第3条语句：速度相差几十毫秒
比较第3条语句和第4条语句：得益于 select id 速度增加，第3条语句查询速度增加了3倍

这种方式相较于原始一般的查询方法，将会增快数倍。

三、使用id限定优化

这种方式假设数据表的id是连续递增的，则我们根据查询的页数和查询的记录数可以算出查询的id的范围，可以使用 id between and 来查询：

select * from orders_history where type=2 
and id between 1000000 and 1000100 limit 100;

查询时间：15ms 12ms 9ms

这种查询方式能够极大地优化查询速度，基本能够在几十毫秒之内完成。限制是只能使用于明确知道id的情况，不过一般建立表的时候，都会添加基本的id字段，这为分页查询带来很多便利。

还可以有另外一种写法：

select * from orders_history where id >= 1000001 limit 100;

当然还可以使用 in 的方式来进行查询，这种方式经常用在多表关联的时候进行查询，使用其他表查询的id集合，来进行查询：

select * from orders_history where id in(select order_id from trade_2 where goods = 'pen')
limit 100;

标签：语句,分页,where,查询,limit,优化,id,select
来源： https://blog.csdn.net/dongcheng_2015/article/details/116856870

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

分页查询的优化

一、使用索引优化：

二、使用子查询优化