Chinaunix首页 | 论坛 | 博客
  • 博客访问: 279553
  • 博文数量: 82
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 874
  • 用 户 组: 普通用户
  • 注册时间: 2015-03-21 09:58
个人简介

traveling in cumputer science!!

文章分类

全部博文(82)

文章存档

2016年(13)

2015年(69)

我的朋友

发布时间:2016-04-24 16:40:38

HIVE安装环境:ubuntu14.04 hadoop-2.6.0 hive-2.0.0
?1.下载安装
?下载链接:http://mirror.bit.edu.cn/apache/hive/
?解压安装:
2.参数配置
?2.1设置环境变量
2.2设置配置文件
3错误信息:
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: ......【阅读全文】

阅读(1981) | 评论(0) | 转发(0)

发布时间:2016-04-20 12:17:59

IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后,job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path......【阅读全文】

阅读(4077) | 评论(0) | 转发(0)

发布时间:2016-04-15 21:26:50

Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下:
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output......【阅读全文】

阅读(3084) | 评论(0) | 转发(0)

发布时间:2016-04-01 21:28:43

hadoop namenode -formate后,上传文件报错 0 datanode(s) running and no node(s) are excluded
1.报错内容:
?put: File /user/username/testData/matrixdata.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
2.错误分析与解决
?打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看......【阅读全文】

阅读(2589) | 评论(0) | 转发(0)

发布时间:2016-03-02 12:20:59

1.问题
? 在运行spark app时,屏幕上总会刷屏似的输出大量日志信息,详细介绍程序运行过程,但这样有时也不便我们调试应用。只输出警告和程序输出一般就足够我们参考,再详细的内容课题通过web ui更直观的查看。
?2.解决方法
?进行如下设置:

点击(此处)折叠或打开

cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties......【阅读全文】

阅读(6413) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册