13518219792
关于mysql处理百万级以上的数据时如何提高其查询速度的方法
为缙云等地区用户提供了全套网页设计制作服务，及缙云网站建设行业解决方案。主营业务为成都网站设计、做网站、缙云网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
最近一段时间由于工作需要，开始关注针对Mysql数据库的select查询语句的相关优化方法。
由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行一条条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会抓狂。因此如何提高sql语句查询效率，显得十分重要。以下是网上流传比较广泛的30种SQL查询语句优化方法：
1、应尽量避免在 where 子句中使用!=或操作符，否则将引擎放弃使用索引而进行全表扫描。
2、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。
3、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select id from t where num=0
4、尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from t where num=10 or num=20
可以这样查询：
select id from t where num=10
union all
select id from t where num=20
5、下面的查询也将导致全表扫描：(不能前置百分号)
select id from t where name like ‘%c%’
若要提高效率，可以考虑全文检索。
6、in 和 not in 也要慎用，否则会导致全表扫描，如：
select id from t where num in(1,2,3)
对于连续的数值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
7、如果在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然 而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：
select id from t where num=@num
可以改为强制查询使用索引：
select id from t with(index(索引名)) where num=@num
8、应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：
select id from t where num/2=100
应改为:
select id from t where num=100*2
9、应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：
select id from t where substring(name,1,3)=’abc’–name以abc开头的id
select id from t where datediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id
应改为:
select id from t where name like ‘abc%’
select id from t where createdate=’2005-11-30′ and createdate’2005-12-1′
10、不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。
11、在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使 用，并且应尽可能的让字段顺序与索引顺序相一致。
12、不要写一些没有意义的查询，如需要生成一个空表结构：
select col1,col2 into #t from t where 1=0
这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：
create table #t(…)
13、很多时候用 exists 代替 in 是一个好的选择：
select num from a where num in(select num from b)
用下面的语句替换：
select num from a where exists(select 1 from b where num=a.num)
14、并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段 sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。
15、索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有 必要。
16.应尽可能的避免更新 clustered 索引数据列，因为 clustered 索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整，会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列，那么需要考虑是否应将该索引建为 clustered 索引。
17、尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
18、尽可能的使用 varchar/nvarchar 代替 char/nchar ，因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。
19、任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。
20、尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。
21、避免频繁创建和删除临时表，以减少系统表资源的消耗。
22、临时表并不是不可使用，适当地使用它们可以使某些例程更有效，例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使 用导出表。
23、在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。
24、如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。
25、尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。
26、使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。
27、与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。
28、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ，在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。
29、尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。
30、尽量避免大事务操作，提高系统并发能力。
你写代码的时候注意 HTML格式 和CSS格式。不要把所有内容都写到同一个DIV中间，这样东西多的时候就会卡住。要分层次显示，另外碰到数据库查询文字非常多的你还可以使用AJAX 返回数据 这样HTML就可以很快的显示 显示完毕才去读数据库这样速度会快很多。至于楼上说的 缓存 数据库存储过程 可以参考一下，不过一般企业站不需要考虑。碰到大站在线100人以上的才会做。
php 高并发解决思路解决方案，如何应对网站大流量高并发情况。本文为大家总结了常用的处理方式，但不是细节，后续一系列细节教程给出。希望大家喜欢。
一 高并发的概念
在互联网时代，并发，高并发通常是指并发访问。也就是在某个时间点，有多少个访问同时到来。
二 高并发架构相关概念
1、QPS (每秒查询率) : 每秒钟请求或者查询的数量，在互联网领域，指每秒响应请求数(指 HTTP 请求)
2、PV（Page View）：综合浏览量，即页面浏览量或者点击量，一个访客在 24 小时内访问的页面数量
--注：同一个人浏览你的网站的同一页面，只记做一次 pv
3、吞吐量（fetches/sec） ：单位时间内处理的请求数量 （通常由 QPS 和并发数决定）
4、响应时间：从请求发出到收到响应花费的时间
5、独立访客（UV）：一定时间范围内，相同访客多次访问网站，只计算为 1 个独立访客
6、带宽：计算带宽需关注两个指标，峰值流量和页面的平均大小
7、日网站带宽： PV/统计时间（换算到秒） * 平均页面大小（kb）* 8
三 需要注意点：
1、QPS 不等于并发连接数（QPS 是每秒 HTTP 请求数量，并发连接数是系统同时处理的请求数量）
2、峰值每秒请求数（QPS）= （总 PV 数*80%）/ （六小时秒数*20%）【代表 80%的访问量都集中在 20%的时间内】
3、压力测试： 测试能承受的最大并发数 以及测试最大承受的 QPS 值
4、常用的性能测试工具【ab，wrk，httpload，Web Bench，Siege，Apache JMeter】
四 优化
1、当 QPS 小于 50 时
优化方案:为一般小型网站,不用考虑优化
2、当 QPS 达到 100 时,遇到数据查询瓶颈
优化方案: 数据库缓存层,数据库的负载均衡
3、当 QPS 达到 800 时, 遇到带宽瓶颈
优化方案:CDN 加速,负载均衡
4、当 QPS 达到 1000 时
优化方案: 做 html 静态缓存
5、当 QPS 达到 2000 时
优化方案: 做业务分离,分布式存储
五、高并发解决方案案例:
1、流量优化
防盗链处理(去除恶意请求)
2、前端优化
(1) 减少 HTTP 请求[将 css,js 等合并]
(2) 添加异步请求(先不将所有数据都展示给用户,用户触发某个事件,才会异步请求数据)
(3) 启用浏览器缓存和文件压缩
(4) CDN 加速
(5) 建立独立的图片服务器(减少 I/O)
3、服务端优化
(1) 页面静态化
(2) 并发处理
(3) 队列处理
4、数据库优化
(1) 数据库缓存
(2) 分库分表,分区
(3) 读写分离
(4) 负载均衡
5、web 服务器优化
(1) nginx 反向代理实现负载均衡
(2) lvs 实现负载均衡
【1】尝试这使用网页静态化
【2】如果用的第3方虚拟主机，建议换成服务器，使用mancache内存缓存
架构优化涉及到技术、存储、网络、服务的选型和构架，尽量使用成熟和现代的开发架构和设计模式。前后端完全分离设计，便于前后端的独立优化，也更加便于测试工作。
如果你的应用遇到了性能瓶颈，这个时候要考虑的就是优化架构而不是优化代码本身，因为架构层面的优化效果往往是最显著的。
架构的优化需要根据自身运营情况来调整，切忌不可按图索骥提前优化，反而容易得不偿失，导致技术成本提高甚至“负优化”
部署环境千万不要忘记关闭调试模式，这不仅仅是出于性能考虑，更多是基于安全因素。事实上，建议通过环境变量来配置关闭调试模式，这样部署后不需要更改任何配置文件。
因为调试模式影响日志记录信息、额外的调试信息和缓存失效，关闭调试模式能够带来一定的性能提升
使用多模块功能会增加文件的 I/O 开销和额外的配置及检查，如非必要在规划你的应用架构的时候尽量考虑使用单一模块，然后使用控制器分级来解决控制器过多的问题。
使用单一模块的性能优势，在部署到 swoole 的时候可以得到更加充分的体现，因为应用文件一旦启动服务，就会载入内存，而模块的相关文件则会每次请求重新加载。
在定义路由规则的时候，不要使用数组方式，尽量使用方法注册路由，并且多使用路由分组（或者资源路由）。分组路由可以减少路由的匹配次数，从而提升路由性能。如果你有多个域名的不同路由，也要按域名规划使用路由。
尽可能设计在路由中进行当前路由的数据验证和权限检查等操作，一方面比较清晰，另外一方面可以尽量把验证操作提前，而不必等到控制器执行。
在分组比较多的情况下，开启路由的延迟解析。
如果同一个分组下面有比较多的路由规则，建议合并路由规则
对于 GET 请求的路由，可以设置路由的请求缓存。
部署阶段，可以开启路由缓存。
首先保持良好的开发习惯，了解 Db类和模型的正确使用姿势 ，数据库本身的性能优化可以参考 MySQL性能优化的最佳21条经验 ，下面主要是对框架中数据查询相关的优化策略。
尽量减少每次请求的查询次数，并对实时性要求不高的数据查询合理规划数据查询缓存（优先考虑使用 Redis 缓存）
如果使用了关联查询， cache 方法只能用于主模型的数据缓存，但你可以使用 Cache 类的 remember 方法进行方便的数据缓存。
尽量减少查询次数是出于性能考虑，但不是必须，使用最少的查询不代表性能就一定是最高。一个复杂的 JOIN 查询性能不见得有两次简单的查询高，而使用简单的查询反而更清晰易懂，并且更方便进行数据查询缓存。
不要总是以为模型的性能一定比 Db 类低，框架的ORM查询设计经过了较为合理的优化，正确使用模型一样可以有出色的性能，而且比 Db 查询要方便很多。
尤其是对于一些复杂的设计来说使用模型关联显得比直接用Db更加简单，例如使用关联预载入查询就可以避免 N+1 查询问题。
如果用 Db 类自己实现的话，费时费力，性能还不一定优。
对于内存开销比较大的应用，在做大量数据查询和处理的时候，使用 cursor 方法，可以利用PHP的生成器特性，减少内存占用。
你会发现用户数据不论是1万还是10万级别，内存开销并没有大的变化。
涉及到对大量数据的处理，包括数据迁移、批量更新，尽量使用命令行指令运行，否则会因为超时而中断
可以通过数据集的方法完成的子集或者排序操作不要再次查询，例如：
利用下面指令在部署后生成字段缓存，可以减少每次数据表的字段查询开销。
注意：一旦数据库的表结构发生变化，必须重新生成。
每次在应用初始化或者模块初始化的时候会有一定的 I/O 开销，如果已经开启 OpCache 的话对性能影响甚微，如果比较在意的也可以通过命令行指令生成配置缓存（包括相关的公共文件和各种定义文件）。
生成应用配置缓存：
生成模块配置缓存：
注意：一旦配置或者公共文件发生变化，必须重新生成。
类库映射可以提升类库的自动加载性能，使用下面的指令可以生成系统类库和应用类库的类库映射（包括 extend 目录下的类库）。
vendor 目录下的类库可以使用 composer 的 dump-autoload 指令优化加载性能。
该命令把 PSR-0 和 PSR-4 转换为一个类映射表，来提高类的加载速度。
