我是在试验代码的时候发现的这个问题,具体代码见
访问密码 56d3
例如类KPIBrowser和KPIIP的输出都恰巧放在了输入的文件夹下。
然后我发现当我先运行KPIBrowser后,再去运行KPIIP,hadoop就跑异常了
目前不太明白为什么。暂时的解释是,hadoop输入文件夹下必须都是文件,有文件夹将抛错。当然hadoop会将输入文件夹下的所有文件都当做输入。一种解决的方案就是将输出文件夹放在另外的目录。
另外提一点,hadoop的输入如果是文件夹,将会对该文件夹下的所有文件(必须都是文件)进行处理。当然hadoop的输入也可以是一个文件,例如:
-
String input = "hdfs://10.7.18.147:9086/user/root/input/out.txt";
阅读(559) | 评论(0) | 转发(0) |