网站建设资讯

NEWS

网站建设资讯

mysql分页性能怎么用 mysql分页性能问题

mysql如何实现高效分页

先看一下分页的基本原理(我拿的是CSDN那个百万级数据库来测试!):SELECT * FROM `csdn` ORDER BY id DESC LIMIT 100000,2000;

成都创新互联公司是一家集网站建设,瑶海企业网站建设,瑶海品牌网站建设,网站定制,瑶海网站建设报价,网络营销,网络优化,瑶海网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

耗时: 0.813ms分析:对上面的mysql语句说明:limit 100000,2000的意思扫描满足条件的102000行,扔掉前面的100000行,返回最后的2000行。问题就在这里,如果是limit 100000,20000,需要扫描120000行,在一个高并发的应用里,每次查询需要扫描超过100000行,性能肯定大打折扣。在《efficient pagination using mysql》中提出的clue方式。利用clue方法,给翻页提供一些线索,比如还是SELECT * FROM `csdn` order by id desc,按id降序分页,每页2000条,当前是第50页,当前页条目id最大的是102000,最小的是100000。如果我们只提供上一页、下一页这样的跳转(不提供到第N页的跳转)。那么在处理上一页的时候SQL语句可以是:

SELECT * FROM `csdn` WHERE id=102000 ORDER BY id DESC LIMIT 2000; #上一页

耗时:0.015ms处理下一页的时候SQL语句可以是:

耗时:0.015ms这样,不管翻多少页,每次查询只扫描20行。效率大大提高了!但是,这样分页的缺点是只能提供上一页、下一页的链接形式。

mysql 数据量大的表如何做分页查询

直接用limit start, count分页语句, 也是我程序中用的方法:

select * from product limit start, count

当起始页较小时,查询没有性能问题,我们分别看下从10, 100, 1000, 10000开始分页的执行时间(每页取20条), 如下:

select * from product limit 10, 20 0.016秒

select * from product limit 100, 20 0.016秒

select * from product limit 1000, 20 0.047秒

select * from product limit 10000, 20 0.094秒

我们已经看出随着起始记录的增加,时间也随着增大, 这说明分页语句limit跟起始页码是有很大关系的,那么我们把起始记录改为40w看下(也就是记录的一般左右) select * from product limit 400000, 20 3.229秒

再看我们取最后一页记录的时间

select * from product limit 866613, 20 37.44秒

难怪搜索引擎抓取我们页面的时候经常会报超时,像这种分页最大的页码页显然这种时

间是无法忍受的。

从中我们也能总结出两件事情:

1)limit语句的查询时间与起始记录的位置成正比

2)mysql的limit语句是很方便,但是对记录很多的表并不适合直接使用。

Mysql使用limit深度分页优化

mysql使用select * limit offset, rows分页在深度分页的情况下。性能急剧下降。

limit用于数据的分页查询,当然也会用于数据的截取,下面是limit的用法:

1. 模仿百度、谷歌方案(前端业务控制)

类似于分段。我们给每次只能翻100页、超过一百页的需要重新加载后面的100页。这样就解决了每次加载数量数据大 速度慢的问题了

2. 记录每次取出的最大id, 然后where id 最大id

select * from table_name Where id 最大id limit 10000, 10;

这种方法适用于:除了主键ID等离散型字段外,也适用连续型字段datetime等

最大id由前端分页pageNum和pageIndex计算出来。

3. IN获取id

4. join方式 + 覆盖索引(推荐)

如果对于有where 条件,又想走索引用limit的,必须设计一个索引,将where 放第一位,limit用到的主键放第2位,而且只能select 主键!

1. jdbcpagingReader使用方式

2. db索引分区器使用方式

入参1: 表名 如test_table

入参2: 排序索引字段 可以是主键,也可以是其他索引。需要保证是唯一索引即可。如:id

入参3: 主键可手动传入,也可以根据表名计算出来:现在只支持单列主键的。 如:id

入参4: 具体表 要分多少块。如:4

mysql使用limit分页优化方案

准备数据是20000000条数据

在分页场景下,使用limit start end,我们分别看下从10000, 100000, 1000000开始分页的执行时间(每页取10条),如下图

当start较小时,查询没有性能问题,但是如上图查询时间所示,随着start增大,查询消耗时间也在递增,在start=10000000时,分页竟然消耗了2秒多,这是不能忍受的。

由此引出对limit分页的优化,首先来explain该语句,看到查询没有使用到任何的索引,进行的是全表扫描,假如limit分页用到了索引是不是会快很多呢!

explain分析一下,第一行是select * from user_innodb形成的临时表使用的是全表扫描,第二行是 (SELECT id FROM user_innodb LIMIT 10000000, 10)形成的,使用的是eq_ref,第三行是全表扫描a和bjoin形成的派生表,使用到的是index,所以速度也会快很多


当前题目:mysql分页性能怎么用 mysql分页性能问题
标题路径:http://cdweb.net/article/dojipcp.html