Chinaunix首页 | 论坛 | 博客
  • 博客访问: 482199
  • 博文数量: 135
  • 博客积分: 1860
  • 博客等级: 上尉
  • 技术积分: 1441
  • 用 户 组: 普通用户
  • 注册时间: 2008-01-05 20:39
文章分类
文章存档

2012年(2)

2011年(130)

2009年(2)

2008年(1)

我的朋友

分类:

2011-08-11 17:04:40

 

下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。 

本贴从解决这类问题的方法入手,开辟一系列专题来解决海量数据问题。拟包含 以下几个方面。

  1. Bloom Filter
  2. Hash
  3. Bit-Map
  4. 双层桶划分
  5. 数据库索引
  6. 倒排索引(Inverted Index
  7. 外排序
  8. Trie
  9. MapReduce

在这些解决方案之上,再借助一定的例子来剖析海量数据处理问题的解决方案。欢迎大家关注。

 

Pasted from <http://blog.redfox66.com/post/mass-data-topic-1-start.aspx>

阅读(945) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~