Hadoop相关系统的编码问题

一定注意整个hadoop相关系统的编码，统一使用UTF-8 ，否则你会遇到很多麻烦，无论是导入hadoop集群还是hive查询还是sqoop等导出、导入都会碰到编码问题。

hive命令文件$HIVE_HOME/bin/hive里加入：

export LANG=en_US.UTF-8
export HADOOP_OPTS="$HADOOP_OPTS -Dfile.encoding=UTF-8"

hadoop $HADOOP_HOME/bin/hadoop文件加入

export LANG=en_US.UTF-8
export HADOOP_OPTS="$HADOOP_OPTS -Dfile.encoding=UTF-8"

linux系统的编码：

$locale

$ cat /etc/sysconfig/i18n
LANG="en_US.UTF-8"