Chinaunix首页 | 论坛 | 博客
  • 博客访问: 615129
  • 博文数量: 87
  • 博客积分: 3399
  • 博客等级: 中校
  • 技术积分: 1422
  • 用 户 组: 普通用户
  • 注册时间: 2010-05-17 21:20
文章分类

全部博文(87)

文章存档

2013年(1)

2012年(51)

2011年(33)

2010年(2)

发布时间:2012-12-29 22:58:40

一、安装hadoop1 因为hadoop是基于java的,所以要保证hadoop能找到在本地系统中大路径,即正确设置java的环境变量。详细请看:linux 安装配置jdk2 到官网:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 下载hadoop,这里我选择hadoop1.0.43 解压到 /usr/localtar -xvf hadoop-1.0.4.tar.gz4 设置hadoop环境变量,为了使环境变量永久有效并对所有用户有效,我们将下面两句添加到/etc/profileexport HADOOP_HOME=/usr/local/......【阅读全文】

阅读(7005) | 评论(0) | 转发(1)

发布时间:2012-12-26 23:13:22

1 创建Map/Reduce 工程 File->new->project->Map/Reduce Project 2 创建类WordCount File->new->class 3 设置输入输出参数 Run->Run Configuration, Arguments 在program arguments中写入输入输出参数,即输入输出文件路径: hdfs://localhost:9000/user/leo/  hdfs://localhost:9000/user/out 4 run as java a......【阅读全文】

阅读(5945) | 评论(0) | 转发(1)

发布时间:2012-12-26 16:27:57

之前使用hadoop-0.20.203.0,试了eclipse的几个版本:3.7,3.5,3.4,都连接不上hadoop,提示连接dfs时缺少主类:org.apache.commons.configuration。 按照有些博客写的将hadoop自带的eclipse插件进行了更改,添加了几个jar包,并修改了MANIFEST.MF,还是不行。 花了很多天,最终使用了新版本hadoop,eclipse最终连接成功。 具体环境是使用vmware安装:   ubuntu 11.04 hadoop 1.0.4 eclipse indigo3.7.2 for java devel......【阅读全文】

阅读(1818) | 评论(0) | 转发(1)

发布时间:2012-03-15 19:49:09

could only be replicated to 0 nodes, instead of 1......【阅读全文】

阅读(15454) | 评论(0) | 转发(1)

发布时间:2012-02-09 10:30:37

Hadoop MapReduce HDFS 分布式并行编程......【阅读全文】

阅读(1347) | 评论(0) | 转发(2)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册