Chinaunix首页 | 论坛 | 博客
  • 博客访问: 282542
  • 博文数量: 82
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 874
  • 用 户 组: 普通用户
  • 注册时间: 2015-03-21 09:58
个人简介

traveling in cumputer science!!

文章分类

全部博文(82)

文章存档

2016年(13)

2015年(69)

我的朋友

发布时间:2016-04-24 16:40:38

HIVE安装环境:ubuntu14.04 hadoop-2.6.0 hive-2.0.0
?1.下载安装
?下载链接:http://mirror.bit.edu.cn/apache/hive/
?解压安装:
2.参数配置
?2.1设置环境变量
2.2设置配置文件
3错误信息:
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: ......【阅读全文】

阅读(2005) | 评论(0) | 转发(0)

发布时间:2016-04-20 12:17:59

IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后,job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path......【阅读全文】

阅读(4104) | 评论(0) | 转发(0)

发布时间:2016-04-15 21:26:50

Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下:
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output......【阅读全文】

阅读(3108) | 评论(0) | 转发(0)

发布时间:2016-04-01 21:28:43

hadoop namenode -formate后,上传文件报错 0 datanode(s) running and no node(s) are excluded
1.报错内容:
?put: File /user/username/testData/matrixdata.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
2.错误分析与解决
?打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看......【阅读全文】

阅读(2607) | 评论(0) | 转发(0)

发布时间:2016-03-23 15:49:05

最简单的方法:进入linux系统后,输入
# apt-cache search boost
你将看到很多文件信息,你会看到其中一个文件叫 libboost-dev, 直接安装此文件即可:
# apt-get install libboost-dev
这样就安装成功了。这个速度很快,是因为直接拷贝了lib文件到系统。
可以使用本文最后代码测试安装成功与否。
2.在安装boost regex后,在codeblocks,使用出错,
(1)报错信息:
"/usr/include/boost/regex/v4/regex_match.hpp|50|undefined reference to`boost::re_detail::perl_matchercompile->linker settings->add
我的boost链接路径 "/usr/lib/x86_64-linux-gnu/libboost_regex.a"
添加之后编译正常!!......【阅读全文】

阅读(1777) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册