全部博文(389)
分类: Mysql/postgreSQL
2014-12-28 21:48:53
MySQL主从复制性能优化
MySQL的主从复制的基本原理是从库连接到主库,主库生成一个主库DUMP线程,该DUMP线程的主要任务是
一直挖掘binlog日志,然后发送到从库的IO线程,IO线程接收到日志流后,写入relay log,另一个线
程SQL线程,会读取该relay log内容,然后对sql语句进行重放.
主库DUMP线程会根据从库传来的文件位置信息去读取binlog文件中的内容,DUMP线程并不是每隔一段时间去
读取的,而且在主库上当有写binlog日志时,会产生同步,那么DUMP线程根据同步机制会立即去读取binlog
文件.当主库去写binlog时,DUMP线程去读,问题很快来了,这样的情形可能会产生读写冲突,有时候我们
也把这种情况称为"IO抖动",如果我们的服务器配置了RAID的cache,或是使用文件系统的cache,当一个写操
作的时候,可能并不会真正的写到磁盘上去,而是写到cache中去了,这样再次去读的话,直接从cache中
读取就可以了.
如果主库有多个从库,DUMP线程和服务器的写binlog线程,DUMP线程和DUMP线程之间读写争用会更加频
繁,如果使用了SSD存储,这种情况可以得到好的的缓解.
当DUMP线程接收到同步事件后,开始执行DUMP操作,这时候在主库上不应该存在CPU负载过高,而使DUMP线程在
运行队列中等待时间过长.
对于需要binlog复制的库,我们在主库使用binlog_do_db,而避免对所有的库操作都生成binlog。不过我
在使用这个参数的时候需要小心测试,因为有些应用写库的方式可能会导致binlog数据丢失.
主库DUMP线程通过网络发送给从库的IO线程,DUMP线程本身不提供压缩功能,所以这时候足够的带宽变得很重
要,特别是对于跨公网的传输,另外可以通过在网络层面上使用网络设备自带的压缩的功能来弥补这方面的不足.
当IO线程接收到binlog后,往relay log里面写数据,存储本身的速度和在每次接收后是否立即同步到磁盘上
的相关参数对IO线程处理的速度变得极为重要.比如sync_relay_log,sync_master_info 和sync_relay_log_info三个参数,
具体的值可能要视环境而做出调整。比如sync_relay_log设置为0,每次接收到数据后不直接写磁盘,而依赖OS去刷新到磁盘上.
SQL线程的原理和DUMP线程的原理很类似,当有relay log日志写入时会产生同步,那么SQL线程就会去读取其中的数据进行
重放。在MySQL 5.6中很重要的一个提升就是可以多个SQL线程可以同时工作,这样增加了吞吐量.可以设置slave_parallel_workers
来达到这样目的.从库上的其他参数比如innodb_flush_log_at_trx等,虽会加快sql线程的吞吐量,但是可能需要缩合考虑
而不仅仅是针对SQL线程.