2015年(13)
发布时间:2015-02-09 11:53:59
我在看Hadoop实战第7章的时候,看到了关于使用压缩的好。我就按照书上输入文件的大小伪随机生成了近300M的文件(单词个数统计的hadoop输入),下面是生成输入的C++程序。点击(此处)折叠或打开/* * Author: tender * Created Time: 2015/2/9 10:31:20.........【阅读全文】
发布时间:2015-02-04 17:41:34
我是在试验代码的时候发现的这个问题,具体代码见http://yunpan.cn/cK8hUEaq4Vcw2 访问密码 56d3例如类KPIBrowser和KPIIP的输出都恰巧放在了输入的文件夹下。然后我发现当我先运行KPIBrowser后,再去运行KPIIP,hadoop就跑异常了目前不太明白为什么。暂时的解释是,hadoop输入文件夹下必须都是文件,有文件.........【阅读全文】
发布时间:2015-01-23 15:47:50
点击(此处)折叠或打开import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.FileInputFormat;.........【阅读全文】