流量处理中的数据存储机制及优化策略

流量处理面临的性能和数据量要求非常高，除常规的SQL数据库、数据文件外，还有下面几种类型的“数据存储机制”也值得注意：

1.  MySQL等的内存表方式、Memcached缓存
2.    内存数据库：开源FastDB、商业的ExtremeDB
3.  嵌入式数据库：Bekely DB、SQL Lite
4.  RRD数据，GreeNet准备在RRDTools的FlatFile上改为C/S型的数据库服务
5.  NetFlow数据服务，NetFlow分析一般基于FlatFile，GreeNet也准备实现NetFlowd数据库服务器
6.  实时数据库：FI(主要用于工业控制领域)
    

数据库性能优化，除了内部调校、表模式优化外，无非是下面三种手段及其组合：

• 分散：将海量数据表分割成多个表，如按IP地址散列，按时间切割，实例有一些大型数据库具有分区视图功能(Oracle，MySQL 5...)，很多大论坛也用这个技术存储帖子；
• 分层(级)：多级存储访问，如内存文件系统、内存数据库、memcache缓存等
• 分布：多台机器的分布式存储，如Google