Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

岚天逸见aquester.blog.chinaunix.net

博客访问： 8183170
博文数量： 595
博客积分： 13065
博客等级：上将
技术积分： 10334
用户组：普通用户
注册时间： 2008-03-26 16:44

个人简介

推荐: blog.csdn.net/aquester https://github.com/eyjian https://www.cnblogs.com/aquester http://blog.chinaunix.net/uid/20682147.html

文章分类

全部博文（595）

maven（0）
flink（1）
gRPC（2）
go（3）
Kubernetes（1）
微服务（4）

skywalking（3）
Docker（1）
raft（1）
微码分享（2）
一致性协议（1）
iptables（0）
crontab（9）
python（1）
svn（1）
redis（42）
java（4）
json（2）
nginx（1）
海量服务（1）
微信编程（0）
js&html（2）
github（1）
andriod（1）
互联网金融（0）
thrift（10）
推荐转载（5）
原创推荐（16）
平淡生活（22）
生活与设计（3）
hadoop（51）

kafka（3）

hue（1）

hive（1）

hbase（8）

spark（2）

zookeeper（4）

hdfs（13）

storm（1）
有感而发（19）
mooon（28）
下载（1）
TCP/IP（3）
MYSQL（26）
question（4）
linux（89）

LVS（1）

性能（11）

WEB服务器（8）
转载（15）
C/C++（162）

汇编（3）
OO（4）
UML（1）
常用脚本（45）
未分配的博文（10）

推荐博文

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

发布时间：2014-04-29 18:48:08

端口作用9000fs.defaultFS，如：hdfs://172.25.40.171:9000 9001dfs.namenode.rpc-address，DataNode会连接这个端口 50070dfs.namenode.http-address 50470.........【阅读全文】

阅读(10252) | 评论(0) | 转发(1)

Hadoop-2.4.0分布式安装手册

发布时间：2014-04-28 09:32:26

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5.........【阅读全文】

阅读(17360) | 评论(13) | 转发(4)

HBase-1.2.1和Phoenix-4.7.0分布式安装指南

发布时间：2014-04-25 09:23:05

HBase-0.98.0和Phoenix-4.0.0分布式安装指南.pdf目录目录11. 前言12. 约定23. 相关端口24. 下载HBase 25. 安装步骤25.1. 修改conf/regionservers 25.2. 修改conf/hbase-site.xml 35.2.1. hbase.master.info.port45.2.2. hb.........【阅读全文】

阅读(12101) | 评论(4) | 转发(1)

Hive 0.12.0安装指南

发布时间：2014-04-23 15:48:35

Hive 0.12.0安装指南.pdf目录目录11. 前言12. 约定13. 服务端口24. 安装MySQL 24.1. 安装MySQL 24.2. 创建Hive元数据库 25. 安装步骤35.1. 下载Hive 0.12.0二进制安装包 35.2. 安装Hive 35.3. 安装MySQL-Conn.........【阅读全文】

阅读(9594) | 评论(0) | 转发(3)

ZooKeeper-3.4.6分布式安装指南

发布时间：2014-04-22 11:49:33

ZooKeeper-3.pdf目录目录11. 前言12. 约定13. 安装步骤23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 24. 启动ZooKeeper集群 35. 安装验证3 1. 前言介绍ZooKeeper-3.4.6版本的分布式安装，力求.........【阅读全文】

阅读(10870) | 评论(2) | 转发(2)

在Linux上编译Hadoop-2.4.0

发布时间：2014-04-21 15:50:27

Linux上编译Hadoop-2.pdfHadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的.........【阅读全文】

阅读(5547) | 评论(0) | 转发(1)

Hadoop-2.4.0中HDFS文件块大小默认为128M

发布时间：2014-04-19 14:34:32

134217728 / 1024 = 131072 / 1024 = 128......【阅读全文】

阅读(5256) | 评论(0) | 转发(0)

看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

发布时间：2014-04-19 11:33:41

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。.........【阅读全文】

阅读(3189) | 评论(0) | 转发(0)

SecondaryNameNode中的“Inconsistent checkpoint fields”错误原因

发布时间：2014-04-19 11:00:10

该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon.........【阅读全文】

阅读(5744) | 评论(0) | 转发(0)

查看HDFS集群信息

发布时间：2014-04-19 10:42:14

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56.........【阅读全文】

阅读(3621) | 评论(0) | 转发(0)