如何在hadoop中控制map的个数_gray1982-ChinaUnix博客

鑫的技术平台liuxin1982.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

gray1982

博客访问： 1434122
博文数量： 185
博客积分： 0
博客等级：民兵
技术积分： 2664
用户组：普通用户
注册时间： 2016-07-01 13:46

个人简介

鸟在笼中，恨关羽不能张飞；Survival of the fittest

文章分类

全部博文（185）

安全（1）
运维平台框架--dj（12）
Docker（1）
Salt自动化（5）
大数据（0）
虚拟化（11）
Puppet（3）
个人图书（8）
windows（20）
Nginx（4）
Solaris（7）
其他（7）
负载高可用（3）
Shell（4）
Hadoop（3）
Mysql（2）
Linux（51）
Python（7）
视频课件（36）
未分配的博文（0）

最近访客

推荐博文

如何在hadoop中控制map的个数

发布时间：2014-12-27 17:11:07

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size .........【阅读全文】

阅读(3325) | 评论(0) | 转发(0)

hadoop常用命令

发布时间：2012-06-29 20:43:41

启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path.........【阅读全文】

阅读(73349) | 评论(0) | 转发(1)

Hadoop_wiki

发布时间：2012-05-22 13:59:15

......【阅读全文】

阅读(6393) | 评论(0) | 转发(0)

给主人留下些什么吧！~~