Chinaunix首页 | 论坛 | 博客
  • 博客访问: 23341
  • 博文数量: 13
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 136
  • 用 户 组: 普通用户
  • 注册时间: 2015-01-22 14:23
文章分类

全部博文(13)

文章存档

2015年(13)

我的朋友

分类: HADOOP

2015-02-04 17:41:34

我是在试验代码的时候发现的这个问题,具体代码见
 访问密码 56d3


例如类KPIBrowser和KPIIP的输出都恰巧放在了输入的文件夹下。


然后我发现当我先运行KPIBrowser后,再去运行KPIIP,hadoop就跑异常了

目前不太明白为什么。暂时的解释是,hadoop输入文件夹下必须都是文件,有文件夹将抛错。当然hadoop会将输入文件夹下的所有文件都当做输入。一种解决的方案就是将输出文件夹放在另外的目录。

另外提一点,hadoop的输入如果是文件夹,将会对该文件夹下的所有文件(必须都是文件)进行处理。当然hadoop的输入也可以是一个文件,例如:

点击(此处)折叠或打开

  1. String input = "hdfs://10.7.18.147:9086/user/root/input/out.txt";



阅读(559) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~