博客首页 注册 建议与交流 排行榜 加入友情链接
推荐 投诉 搜索: 帮助

在信息技术的路途上

互联网流量分析与挖掘
  greenet.cublog.cn

关于作者
姓名:Mc.woLF
职业:mc_wolf2002@hotmail.com
年龄:
位置:China,Wuhan
个性介绍:皆为原创,转载注明出处
|| << >> ||
我的分类


流量处理中的数据存储机制及优化策略
流量处理面临的性能和数据量要求非常高,除常规的SQL数据库、数据文件外,还有下面几种类型的“数据存储机制”也值得注意:
  1.  MySQL等的内存表方式、Memcached缓存
  2.    内存数据库:开源FastDB、商业的ExtremeDB
  3.  嵌入式数据库:Bekely DB、SQL Lite
  4.  RRD数据,GreeNet准备在RRDTools的FlatFile上改为C/S型的数据库服务
  5.  NetFlow数据服务,NetFlow分析一般基于FlatFile,GreeNet也准备实现NetFlowd数据库服务器
  6.  实时数据库:FI(主要用于工业控制领域)
     

数据库性能优化,除了内部调校、表模式优化外,无非是下面三种手段及其组合:

  • 分散:将海量数据表分割成多个表,如按IP地址散列,按时间切割,实例有一些大型数据库具有分区视图功能(Oracle,MySQL 5...),很多大论坛也用这个技术存储帖子;
  • 分层(级):多级存储访问,如内存文件系统、内存数据库、memcache缓存等
  • 分布:多台机器的分布式存储,如Google

发表于: 2007-04-12,修改于: 2007-04-12 11:07,已浏览883次,有评论0条 推荐 投诉


网友评论
 发表评论