发布时间:2012-12-29 22:58:40
一、安装hadoop1 因为hadoop是基于java的,所以要保证hadoop能找到在本地系统中大路径,即正确设置java的环境变量。详细请看:linux 安装配置jdk2 到官网:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 下载hadoop,这里我选择hadoop1.0.43 解压到 /usr/localtar -xvf hadoop-1.0.4.tar.gz4 设置hadoop环境变量,为了使环境变量永久有效并对所有用户有效,我们将下面两句添加到/etc/profileexport HADOOP_HOME=/usr/local/......【阅读全文】
发布时间:2012-12-26 23:13:22
1 创建Map/Reduce 工程 File->new->project->Map/Reduce Project 2 创建类WordCount File->new->class 3 设置输入输出参数 Run->Run Configuration, Arguments 在program arguments中写入输入输出参数,即输入输出文件路径: hdfs://localhost:9000/user/leo/ hdfs://localhost:9000/user/out 4 run as java a......【阅读全文】
发布时间:2012-12-26 16:27:57
之前使用hadoop-0.20.203.0,试了eclipse的几个版本:3.7,3.5,3.4,都连接不上hadoop,提示连接dfs时缺少主类:org.apache.commons.configuration。 按照有些博客写的将hadoop自带的eclipse插件进行了更改,添加了几个jar包,并修改了MANIFEST.MF,还是不行。 花了很多天,最终使用了新版本hadoop,eclipse最终连接成功。 具体环境是使用vmware安装: ubuntu 11.04 hadoop 1.0.4 eclipse indigo3.7.2 for java devel......【阅读全文】
发布时间:2012-03-15 19:49:09
could only be replicated to 0 nodes, instead of 1......【阅读全文】