Yarn上运行spark-1.6.0_Aquester-ChinaUnix博客

岚天逸见aquester.blog.chinaunix.net

博客访问： 8168878
博文数量： 595
博客积分： 13065
博客等级：上将
技术积分： 10334
用户组：普通用户
注册时间： 2008-03-26 16:44

个人简介

推荐: blog.csdn.net/aquester https://github.com/eyjian https://www.cnblogs.com/aquester http://blog.chinaunix.net/uid/20682147.html

文章分类

全部博文（595）

maven（0）
flink（1）
gRPC（2）
go（3）
Kubernetes（1）
微服务（4）

skywalking（3）
Docker（1）
raft（1）
微码分享（2）
一致性协议（1）
iptables（0）
crontab（9）
python（1）
svn（1）
redis（42）
java（4）
json（2）
nginx（1）
海量服务（1）
微信编程（0）
js&html（2）
github（1）
andriod（1）
互联网金融（0）
thrift（10）
推荐转载（5）
原创推荐（16）
平淡生活（22）
生活与设计（3）
hadoop（51）

kafka（3）

hue（1）

hive（1）

hbase（8）

spark（2）

zookeeper（4）

hdfs（13）

storm（1）
有感而发（19）
mooon（28）
下载（1）
TCP/IP（3）
MYSQL（26）
question（4）
linux（89）

LVS（1）

性能（11）

WEB服务器（8）
转载（15）
C/C++（162）

汇编（3）
OO（4）
UML（1）
常用脚本（45）
未分配的博文（10）

推荐博文

Yarn上运行spark-1.6.0

发布时间：2016-02-17 12:51:57

Yarn上运行spark-1.6.0.pdf目录目录11. 约定12. 安装Scala 12.1. 下载22.2. 安装22.3. 设置环境变量23. 安装Spark 23.1. 下载23.2. 安装23.3. 配置33.3.1. 修改conf/spark-env.sh 34. 启动Spark 3.........【阅读全文】

阅读(7894) | 评论(0) | 转发(0)

Hive 1.2.1&Spark&Sqoop安装指南

发布时间：2016-02-16 15:42:51

Hive 1.2.1安装指南.pdf目录目录11. 前言12. 约定23. 服务端口24. 安装MySQL 24.1. 安装MySQL 24.2. 创建Hive元数据库 45. 安装步骤45.1. 下载Hive 1.2.1二进制安装包 45.2. 安装Hive 55.3. 安装MySQL-Connec.........【阅读全文】

阅读(8395) | 评论(0) | 转发(0)

HBase & thrift & C++编程

发布时间：2016-01-27 16:13:02

HBase & thrift & C++编程.pdf目录目录11. 前言12. 启动和停止thrift2 12.1. 启动thrift2 12.2. 停止thrift2 12.3. 启动参数23. hbase.thrift23.1. 编译hbase.thrift 24. thrift_helper.h35. 示例代码4 1.&nb.........【阅读全文】

阅读(7817) | 评论(5) | 转发(0)

编译hadoop的libhdfs.a

发布时间：2015-11-27 10:44:44

进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i.........【阅读全文】

阅读(4419) | 评论(0) | 转发(0)

Hadoop-2.7.2分布式安装手册

发布时间：2015-11-25 09:10:43

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. .........【阅读全文】

阅读(7202) | 评论(1) | 转发(1)

HBase的FlushLargeStoresPolicy多例族支持

发布时间：2015-11-18 11:43:09

HBase的FlushLargeStoresPolicy.pdf众所周知，HBase的一个例族flush时，会导致所有例族都跟着被flush。在HBase-0.94的官方说明（http://hbase.apache.org/0.94/book/number.of.cfs.html）也明确HBase不能很好的支持一个以上的例族。 HBase-2.0.0和HBase-1.1.0（https://issues.apache.org/jira/browse/HBAS.........【阅读全文】

阅读(3922) | 评论(0) | 转发(0)

Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

发布时间：2015-11-13 11:00:39

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1.........【阅读全文】

阅读(3910) | 评论(0) | 转发(0)

Haodoop RPC解析

发布时间：2015-09-07 12:47:15

<a href="/blog/downLoad/fileid/11720.html" target="_blank"><img src="/image/default/fj.png" align="middle" />Haodoop RPC解析.pdf</a><br /><p class="p19" style="margin-bottom:0pt;margin-top:0pt;"><a href="#_Toc27030 ">1. 前言1</a><o:p></o:p></p><p class="p19" style="margin-bottom:0pt;margi.........【阅读全文】

阅读(2898) | 评论(0) | 转发(0)

HDFS Federation

发布时间：2014-05-15 10:06:54

HDFS Federation.pdf目录目录11. 前言12. 背景13. 解析1 1. 前言Federation翻译成中文是联盟或联邦的意思，网上有很多介绍HDFS Federation的文章，官网上的Federation.html也做了专门的介绍。本文试图画蛇添足，以更通俗的方式重复一遍，以帮助对HDFS.........【阅读全文】

阅读(4819) | 评论(1) | 转发(2)

“undefined JNI_GetCreatedJavaVM”和“File format not recognized”错误原因分析

发布时间：2014-05-06 16:19:55

如果编译时，报如下所示错误：../../third-party/hadoop/lib/libhdfs.a(jni_helper.c.o): In function `getGlobalJNIEnv':/root/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/libhdfs/jni_helper.c:446: undefined reference to `JNI_GetCreatedJavaVMs'/root/hadoop-2.4.0-src/hadoop-hdfs-proje.........【阅读全文】

阅读(11627) | 评论(0) | 转发(0)