top n 如果是直接针对的可排序的数据集合,并且不需要二次计算的话,则全局的top n就是可以分散到局部的top n再聚合
如果数据集不是可排序的,并且也需要进行二次计算,类似按某个统计指标来取 top n,可能就不能直接用局部的top n来并行计算
抽象的来说,同一个top n算法要适应不同的动态数据分布是很难的,top n不是处理特定的数据分布的,而是要通用型的
top n或许可以从满足充分必要条件来做一些反向推导,得到一些限制条件,从而过滤掉数据,让数据量减少,逐步收敛于某个范围
如果采用过滤数据量的话,需要借助一些统计的指标,如:记录的总数等
top N一般的做法就是将数据先局部处理,例如:计算单词的出现的个数 top N,可先局部统计每个区域中的单词的次数,重新写入临时文件,后续再进行数据的合并
top N还有一种做法就是将数据按照key进行独立计算,区域是按照key进行分区,譬如:按照单词来直接得到它的统计总数,这个类似storm的处理方式
如果既不想保存临时文件,也不想按照key单独统计,一定要做成局部也执行top n的方式,就需要给出一个局部过滤,整体聚合的策略
阅读(3294) | 评论(0) | 转发(0) |
