全部博文(247)
发布时间:2013-04-01 11:50:09
Hadoop集群配置(最全面总结) huangguisu 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common.........【阅读全文】
发布时间:2013-02-22 20:40:56
could only be replicated to 0 nodes, instead of 1......【阅读全文】
发布时间:2013-02-22 20:40:28
1 创建Map/Reduce 工程 File->new->project->Map/Reduce Project 2 创建类WordCount File->new->class 3 设置输入输出参数 Run->Run Configuration, Arguments 在program arguments中写入输入输出参数,即输入输出文件路径: hdfs://localhost:9000/user/leo/ hdfs://localhost:9000/user/out 4 run as java a......【阅读全文】
发布时间:2013-01-03 20:23:44
一、安装hadoop1 因为hadoop是基于java的,所以要保证hadoop能找到在本地系统中大路径,即正确设置java的环境变量。详细请看:linux 安装配置jdk2 到官网:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 下载hadoop,这里我选择hadoop1.0.43 解压到 /usr/localtar -xvf hadoop-1.0.4.tar.gz4 设置hadoop环境变量,为了使环境变量永久有效并对所有用户有效,我们将下面两句添加到/etc/profileexport HADOOP_HOME=/usr/local/......【阅读全文】