Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1398103
  • 博文数量: 277
  • 博客积分: 2551
  • 博客等级: 少校
  • 技术积分: 3918
  • 用 户 组: 普通用户
  • 注册时间: 2011-02-21 22:46
文章分类

全部博文(277)

文章存档

2017年(3)

2016年(9)

2015年(65)

2014年(27)

2013年(85)

2012年(61)

2011年(27)

分类: 大数据

2015-05-27 08:44:49

   top n 如果是直接针对的可排序的数据集合,并且不需要二次计算的话,则全局的top n就是可以分散到局部的top n再聚合
           如果数据集不是可排序的,并且也需要进行二次计算,类似按某个统计指标来取 top n,可能就不能直接用局部的top n来并行计算
    抽象的来说,同一个top n算法要适应不同的动态数据分布是很难的,top n不是处理特定的数据分布的,而是要通用型的
    top n或许可以从满足充分必要条件来做一些反向推导,得到一些限制条件,从而过滤掉数据,让数据量减少,逐步收敛于某个范围
    如果采用过滤数据量的话,需要借助一些统计的指标,如:记录的总数等
   
    top N一般的做法就是将数据先局部处理,例如:计算单词的出现的个数 top N,可先局部统计每个区域中的单词的次数,重新写入临时文件,后续再进行数据的合并
    top N还有一种做法就是将数据按照key进行独立计算,区域是按照key进行分区,譬如:按照单词来直接得到它的统计总数,这个类似storm的处理方式
    如果既不想保存临时文件,也不想按照key单独统计,一定要做成局部也执行top n的方式,就需要给出一个局部过滤,整体聚合的策略
阅读(3306) | 评论(0) | 转发(0) |
0

上一篇:c++虚函数表

下一篇:范围查询

给主人留下些什么吧!~~