流量处理中的数据存储机制及优化策略
(2007-04-12 11:07)
分类： 流量、带宽分析与管理
流量处理面临的性能和数据量要求非常高，除常规的SQL数据库、数据文件外，还有下面几种类型的“数据存储机制”也值得注意：
- MySQL等的内存表方式、Memcached缓存
- 内存数据库：开源FastDB、商业的ExtremeDB
- 嵌入式数据库：Bekely DB、SQL Lite
- RRD数据，GreeNet准备在RRDTools的FlatFile上改为C/S型的数据库服务
- NetFlow数据服务，NetFlow分析一般基于FlatFile，GreeNet也准备实现NetFlowd数据库服务器
- 实时数据库：FI(主要用于工业控制领域)
数据库性能优化，除了内部调校、表模式优化外，无非是下面三种手段及其组合：
- 分散：将海量数据表分割成多个表，如按IP地址散列，按时间切割，实例有一些大型数据库具有分区视图功能(Oracle，MySQL 5...)，很多大论坛也用这个技术存储帖子；
- 分层(级)：多级存储访问，如内存文件系统、内存数据库、memcache缓存等
- 分布：多台机器的分布式存储，如Google