T级别数据 解决方案 （笔记）

重点推荐 - 大量好的存储文档 ：

http://www.itpub.net/thread-1287920-1-1.html

http://www.cnblogs.com/RicCC/archive/2009/09/28/mysql-2.html

 

 

 

本文重点 :

漆兴.rar (747.03 KB)——演讲主题：海量日志分析系统实践

 

先上工具 《攻其事，必厉其器 》

1. amoeba

 * amoeba for mysql

 * amoeba for mongodb

 

 

2. gearman 分布计算  

    * c++ 核心

    * python 调度

    * mysql  gearman  对外

    * 好处太多 自己去看吧

 

3. rsync 这就不多说了

    * google 吧 ，满大街都有介绍

 

4. mysql "猪脚"  来了 >>

    * myIsam 尽量使用定长属性

    * 尽量使用 “分区” 和 “合并” 特性

      # http://dev.mysql.com/doc/refman/5.1/en/merge-storage-engine.html

      # http://dev.mysql.com/doc/refman/5.1/zh/client-side-scripts.html

    * 提高read_buffer_size的值    
    * 高并发插入优化   Concurrent-insert =2
    * delay_key_write
    * bulk_insert_buffer_size, max_allowed_packet
    * 关闭query_cache   
    * key_buffer及key_buffer_size的值增大
    * sort_buffer_size，并不是越大越好
    * 加大max_length_for_sort_data,对于big result让其采用改进版的排序算法

    * 增大tmp_table_size
    * 增大table_cache及thread_cache的值，避免频繁建立和断开链接
    * 用mysql_unbuffered_query取代mysql_query,
    * 用mysql_pconnect取代mysql_connect
    * 使用SQL_BIG_RESULT来提示mysql优化引擎更好的处理大数据量sql
    * 使用MyISAM表可使用索引数据的预加载功能

 

5. mysql 列存储 inforbright 使用