traveling in cumputer science!!
发布时间：2016-04-24 16:40:38
HIVE安装环境：ubuntu14.04 hadoop-2.6.0 hive-2.0.0
?1.下载安装
?下载链接：http://mirror.bit.edu.cn/apache/hive/
?解压安装：
2.参数配置
?2.1设置环境变量
2.2设置配置文件
3错误信息：
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: ......【阅读全文】
发布时间：2016-04-20 12:17:59
IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后，job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path......【阅读全文】
发布时间：2016-04-15 21:26:50
Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下：
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output......【阅读全文】
发布时间：2016-04-01 21:28:43
hadoop namenode -formate后，上传文件报错 0 datanode(s) running and no node(s) are excluded
1.报错内容：
?put: File /user/username/testData/matrixdata.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
2.错误分析与解决
?打开hdfs-site.xml里配置的datanode和namenode对应的目录，分别打开current文件夹里的VERSION，可以看到clusterID项正如日志里记录的一样，确实不一致，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动dfs（执行start-dfs.sh）再执行jps命令可以看......【阅读全文】
