发布时间：2016-08-19 15:29:22
http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ，more 等中断后续数据处理的程序，直接的命令行 不支持管道关于管道：不要在streaming里mapper和reducer中使用管道，会出现”java.io.IOException: Broken pipe”错误。关于程序文件：如果使用的是非she.........【阅读全文】
发布时间：2014-04-27 18:13:16
grep -r deprecated ~/hadoop/bin//home/hd/hadoop/bin/hadoop-config.sh: echo "Warning: \$HADOOP_HOME is deprecated." 1>&2于这个警告问题，解决方法如下： 1.注释掉hadoop-config.sh里的上面给出的这段if fi配置（不推荐）2.在当前用户home/.bash_profile里增加一个环境变量：expor.........【阅读全文】
发布时间：2014-04-27 17:54:25
1. 总的默认的Xmx是1000M 在hadoop启动脚本里 JAVA_HEAP_MAX=-Xmx1000m2. 改 这个文件也可以改总的Xmx ~/hadoop/conf/hadoop-env.sh # The maximum amount of heap to use, in MB. Default is 1000. # export HADOOP.........【阅读全文】
发布时间：2014-04-27 17:29:16
一定注意整个hadoop相关系统的编码，统一使用UTF-8 ，否则你会遇到很多麻烦，无论是导入hadoop集群还是hive查询还是sqoop等导出、导入都会碰到编码问题。hive命令文件$HIVE_HOME/bin/hive里加入：点击(此处)折叠或打开export LANG=en_US.UTF-8export HADO.........【阅读全文】
