Chinaunix首页 | 论坛 | 博客
  • 博客访问: 57783
  • 博文数量: 12
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 100
  • 用 户 组: 普通用户
  • 注册时间: 2014-08-15 18:41
文章分类
文章存档

2015年(7)

2014年(5)

我的朋友

发布时间:2015-01-09 12:58:28

1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1TB排序基准评估第一名,排序1TB数据耗时209秒。后来,1TB排序被1分钟排序所取代,1分钟排序指的.........【阅读全文】

阅读(3083) | 评论(0) | 转发(0)

发布时间:2015-01-09 12:34:04

引言  Hadoop生态圈的基石有两个,一个是HDFS文件系统,一个是MR编程框架。第一弹中提到应用MR编程框架实现大规模多机联合负载压测场景的方案,则突出了MR的能力,实际上HDFS作为这一切的基础,所起的作用是不容忽视的。  HDFS分布式文件系统与一般的文件系统,从本质构成上来说并没有太大的区别,普通磁盘上.........【阅读全文】

阅读(1885) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册