分类： Mysql/postgreSQL
2014-12-30 17:03:41
很久之前就想写一篇关于mysql优化方面的文章了，忙于工作，在着也比较懒散。现在网上mysql优化方面的帖子很多，也不乏精品。很早听一DBA前辈说过:mysql的优化，三分配置的优化，七分sql语句的优化。之前不是很理解，但接触到高并发大数据的时候，这句话的含义尤为突出，甚至可以说一分配置的优化，九分语句的优化。
mysql的优化，一般分为配置的优化、sql语句的优化、表结构的优化、索引的优化，这里着重说前两点。
一、配置的优化
配置的优化其实包含两个方面的：操作系统内核的优化和mysql配置文件的优化
1、系统内核的优化对专用的mysql服务器来说，无非是内存实用、连接数、超时处理、TCP处理等方面的优化，根据自己的硬件配置来进行优化，这里不多讲；
2、mysql配置的优化，一般来说包含：IO处理的常用参数、最大连接数设置、缓存使用参数的设置、慢日志的参数的设置、innodb相关参数的设置等，如果有主从关系在设置主从同步的相关参数即可，网上的相关配置文件很多，大同小异，常用的设置大多修改这些差不多就够用了。
以下是我的一个mysql配置文件，仅供参考：
###############################################
[mysqld]
skip-name-resolve
server-id = 1
bind-address = 0.0.0.0
port = 3306
datadir = /home/mysql
tmpdir = /tmp
default_storage_engine = InnoDB
character_set_server = utf8
innodb_file_per_table = 1
innodb_log_file_size = 512M
innodb_log_files_in_group = 4
innodb_rollback_on_timeout = 1
slow_query_log = 1
slow_query_log_file =/var/log/mysql/mysql-slow.log
long_query_time = 1
#log-queries-not-using-indexes#这个参数不安全，说是记录没有用到索引的语句，其实记录的全部的日志，占用大量的IO，建议不要打开
#relay_log_recovery=1#这个参数在丛库上一定要加上
#从MySQL5.5.X版本开始，增加了relay_log_recovery参数，这个参数的作用是：当slave从库宕机后，假如relay-log损坏了，导致一部分中继日志没有处理，则自动放弃所有未执行的relay-log，并且重新从master上获取日志，这样就保证了relay-log的完整性。默认情况下该功能是关闭的，将relay_log_recovery的值设置为 1时，可在slave从库上开启该功能，建议开启。
query_cache_type = off
query_cache_size = 0
#这两项是禁用缓存，这个使服务器用途而定：写比较多的数据库最好禁用，因为没写一次他要修改缓存中的数据，给数据库带来额外的开销，读比较的可以开启，可以提高查询效率
#一下4个参数是mysql5.6上的新特性
innodb_buffer_pool_dump_at_shutdown = 1 #解释：在关闭时把热数据dump到本地磁盘。
innodb_buffer_pool_dump_now = 1 #解释：采用手工方式把热数据dump到本地磁盘。
innodb_buffer_pool_load_at_startup = 1 #解释：在启动时把热数据加载到内存。
innodb_buffer_pool_load_now = 1 #解释：采用手工方式把热数据加载到内存。
read_buffer_size = 2M
sort_buffer_size = 2M
join_buffer_size = 1M
key_buffer_size = 2G
thread_cache_size = 2048
open_files_limit=65535
innodb_open_files = 8192
max_allowed_packet = 64M
thread_stack = 512k
max_length_for_sort_data = 16k
tmp_table_size = 1G
max_heap_table_size = 1G
max_connections = 4000
max_connect_errors = 30000
innodb_read_io_threads = 8
innodb_write_io_threads = 16
innodb_flush_method = O_DIRECT
innodb_io_capacity = 20000#根据硬盘的情况修改，stat的用100，sas的200，sas做riad10的为400fision-io的可以设置为20000
innodb_buffer_pool_size = 72G#内存的80%
innodb_buffer_pool_instances=18
thread_concurrency=0
innodb_thread_concurrency = 0
innodb_log_buffer_size = 16M
innodb_flush_log_at_trx_commit = 2
innodb_lock_wait_timeout = 60
innodb_old_blocks_time=1000
innodb_use_native_aio = 1
innodb_purge_threads=1
innodb_change_buffering=inserts
##############################################
二、sql语句的优化
前期的配置优化做完，其实在很长的一段时间内，基本上不用在去优化了。而一条sql使用不当，致使整个数据库故障的情况相信做DBA的经常遇到。所以，sql语句的优化和审核才是每个DBA的重中之重。
sql语句的优化，一般的基本原则有以下几个方面：
1、 尽量稍作计算
Mysql的作用是用来存取数据的，不是做计算的，做计算的话可以用其他方法去实现，mysql做计算是很耗资源的。
2.尽量少 join
MySQL 的优势在于简单，但这在某些方面其实也是其劣势。MySQL 优化器效率高，但是由于其统计信息的量有限，优化器工作过程出现偏差的可能性也就更多。对于复杂的多表 Join，一方面由于其优化器受限，再者在 Join 这方面所下的功夫还不够，所以性能表现离 Oracle 等关系型数据库前辈还是有一定距离。但如果是简单的单表查询，这一差距就会极小甚至在有些场景下要优于这些数据库前辈。
3.尽量少排序
排序操作会消耗较多的 CPU 资源，所以减少排序可以在缓存命中率高等 IO 能力足够的场景下会较大影响 SQL 的响应时间。
对于MySQL来说，减少排序有多种办法，比如：
通过利用索引来排序的方式进行优化
减少参与排序的记录条数
非必要不对数据进行排序
4.尽量避免 select *
在数据量少并且访问量不大的情况下，select * 没有什么影响，但是量级达到一定级别的时候，在执行效率和IO资源的使用上，还是有很大关系的，用什么字段取什么字段，减少不必要的资源浪费。
之前遇到过因为一个字段存储的数据比较大，并发高的情况下把网络带宽跑满的情况，造成网站打不开或是打开速度极慢的情况。
5.尽量用 join 代替子查询
虽然 Join 性能并不佳，但是和 MySQL 的子查询比起来还是有非常大的性能优势。MySQL 的子查询执行计划一直存在较大的问题，虽然这个问题已经存在多年，但是到目前已经发布的所有稳定版本中都普遍存在，一直没有太大改善。虽然官方也在很早就承认这一问题，并且承诺尽快解决，但是至少到目前为止我们还没有看到哪一个版本较好的解决了这一问题。
6.尽量少 or
当 where 子句中存在多个条件以“或”并存的时候，MySQL 的优化器并没有很好的解决其执行计划优化问题，再加上 MySQL 特有的 SQL与 Storage 分层架构方式，造成了其性能比较低下，很多时候使用 union all 或者是union(必要的时候)的方式来代替“or”会得到更好的效果。
7.尽量用 union all 代替 union
union 和 union all 的差异主要是前者需要将两个(或者多个)结果集合并后再进行唯一性过滤操作，这就会涉及到排序，增加大量的 CPU 运算，加大资源消耗及延迟。所以当我们可以确认不可能出现重复结果集或者不在乎重复结果集的时候，尽量使用 union all 而不是 union。
8.尽量早过滤
这一优化策略其实最常见于索引的优化设计中(将过滤性更好的字段放得更靠前)。
在 SQL 编写中同样可以使用这一原则来优化一些 Join 的 SQL。比如我们在多个表进行分页数据查询的时候，我们最好是能够在一个表上先过滤好数据分好页，然后再用分好页的结果集与另外的表 Join，这样可以尽可能多的减少不必要的 IO 操作，大大节省 IO 操作所消耗的时间。
9.避免类型转换
这里所说的“类型转换”是指 where 子句中出现 column 字段的类型和传入的参数类型不一致的时候发生的类型转换：
A:人为在column_name 上通过转换函数进行转换
直接导致 MySQL(实际上其他数据库也会有同样的问题)无法使用索引，如果非要转换，应该在传入的参数上进行转换
B:由数据库自己进行转换
如果我们传入的数据类型和字段类型不一致，同时我们又没有做任何类型转换处理，MySQL 可能会自己对我们的数据进行类型转换操作，也可能不进行处理而交由存储引擎去处理，这样一来，就会出现索引无法使用的情况而造成执行计划问题。
以上两种情况在开发者因为某种原因经常会有，本来可以用到索引的结果类型不对没有用到索引，或是因为类型不对又有越界的情况发生造成无法使用索引的情况，结果造成很严重的事故。
10.优先优化高并发的 SQL，而不是执行频率低某些“大”SQL
对于破坏性来说，高并发的 SQL 总是会比低频率的来得大，因为高并发的 SQL 一旦出现问题，甚至不会给我们任何喘息的机会就会将系统压跨。而对于一些虽然需要消耗大量 IO 而且响应很慢的 SQL，由于频率低，即使遇到，最多就是让整个系统响应慢一点，但至少可能撑一会儿，让我们有缓冲的机会。
11.从全局出发优化，而不是片面调整
SQL 优化不能是单独针对某一个进行，而应充分考虑系统中所有的 SQL，尤其是在通过调整索引优化 SQL 的执行计划的时候，千万不能顾此失彼，因小失大。
12.尽可能对每一条运行在数据库中的SQL进行 explain
优化 SQL，需要做到心中有数，知道SQL 的执行计划才能判断是否有优化余地，才能判断是否存在执行计划问题。在对数据库中运行的 SQL进行了一段时间的优化之后，很明显的问题 SQL 可能已经很少了，大多都需要去发掘，这时候就需要进行大量的 explain 操作收集执行计划，并判断是否需要进行优化。
题外话：很多刚接触mysql的朋友问，有什么mysql专业书籍推荐?我推荐《MySQL高性能》第三版，是mysql 领域的经典之作，拥有广泛的影响力，涵盖的知识面也比较面，一本在手，基础知识无忧，其他需要在实战中积累经验了，本人也是此书的受益者。
