搜索博文结果_ChinaUnix博客

niao5929 | 2014-05-15 15:58:21 | 阅读(830) | 评论(0)

Spark 0.9.1和Shark 0.9.1分布式安装指南.pdf目录目录11. 约定12. 安装Scala 12.1. 下载22.2. 安装22.3. 设置环境变量23. 安装Spark 23.1. 部署23.2. 下载33.3. 安装33.4. 配置33.4.1. 修改conf/s...【阅读全文】

【HADOOP】集群管理小工具介绍-pdsh -------转载

dsy851009 | 2014-05-10 21:49:19 | 阅读(2260) | 评论(0)

当管理数以十计或者更多的系统时，常常需要在多台机器上执行相同的命令。pdsh即可实现。首先必须在管理节点和每台目标机器上都安装pdsh软件包。pdsh可以在指定的一组机器上执行同一个命令。例如需要管理下列机器，机器名分别为srv1,srv2,srv3,srv4,srv5。命令格式如下:pdsh -w [SSH_OR_RSH]:USERNAME@srv[1,2-4,5] [COM...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

kings_way_cu | 2014-05-02 20:47:57 | 阅读(1200) | 评论(1)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

Larpenteur | 2014-04-30 12:24:23 | 阅读(1940) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

ichenxiaohu | 2014-04-30 12:16:46 | 阅读(1190) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 HBase-0.98.0和Phoenix-4.0.0分布式安装指南

niao5929 | 2014-04-28 22:43:37 | 阅读(1300) | 评论(0)

HBase-0.98.0和Phoenix-4.0.0分布式安装指南.pdf目录目录11. 前言12. 约定23. 相关端口24. 下载HBase 25. 安装步骤25.1. 修改conf/regionservers 25.2. 修改conf/hbase-site.xml 35.2.1. hbase.master.info.port45.2.2. hb...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

aquester | 2014-04-28 09:32:26 | 阅读(17010) | 评论(13)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 ZooKeeper-3.4.6分布式安装指南

Larpenteur | 2014-04-28 01:27:50 | 阅读(980) | 评论(0)

ZooKeeper-3.pdf目录目录11. 前言12. 约定13. 安装步骤23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 24. 启动ZooKeeper集群 35. 安装验证3 1. 前言介绍ZooKeeper-3.4.6版本的分布式安装，力求...【阅读全文】

【HADOOP】 Hive 0.12.0安装指南

Larpenteur | 2014-04-28 01:26:51 | 阅读(1270) | 评论(0)

Hive 0.12.0安装指南.pdf目录目录11. 前言12. 约定13. 服务端口24. 安装MySQL 24.1. 安装MySQL 24.2. 创建Hive元数据库 25. 安装步骤35.1. 下载Hive 0.12.0二进制安装包 35.2. 安装Hive 35.3. 安装MySQL-Conn...【阅读全文】

【HADOOP】 HBase-1.2.1和Phoenix-4.7.0分布式安装指南

aquester | 2014-04-25 09:23:05 | 阅读(12010) | 评论(4)

HBase-0.98.0和Phoenix-4.0.0分布式安装指南.pdf目录目录11. 前言12. 约定23. 相关端口24. 下载HBase 25. 安装步骤25.1. 修改conf/regionservers 25.2. 修改conf/hbase-site.xml 35.2.1. hbase.master.info.port45.2.2. hb...【阅读全文】

【HADOOP】 Hive 0.12.0安装指南

ichenxiaohu | 2014-04-24 23:25:12 | 阅读(880) | 评论(0)

Hive 0.12.0安装指南.pdf目录目录11. 前言12. 约定13. 服务端口24. 安装MySQL 24.1. 安装MySQL 24.2. 创建Hive元数据库 25. 安装步骤35.1. 下载Hive 0.12.0二进制安装包 35.2. 安装Hive 35.3. 安装MySQL-Conn...【阅读全文】

【HADOOP】 Hive 0.12.0安装指南

niao5929 | 2014-04-24 11:36:08 | 阅读(600) | 评论(0)

Hive 0.12.0安装指南.pdf目录目录11. 前言12. 约定13. 服务端口24. 安装MySQL 24.1. 安装MySQL 24.2. 创建Hive元数据库 25. 安装步骤35.1. 下载Hive 0.12.0二进制安装包 35.2. 安装Hive 35.3. 安装MySQL-Conn...【阅读全文】

【HADOOP】 Hive 0.12.0安装指南

Aquester | 2014-04-23 15:48:35 | 阅读(9490) | 评论(0)

Hive 0.12.0安装指南.pdf目录目录11. 前言12. 约定13. 服务端口24. 安装MySQL 24.1. 安装MySQL 24.2. 创建Hive元数据库 25. 安装步骤35.1. 下载Hive 0.12.0二进制安装包 35.2. 安装Hive 35.3. 安装MySQL-Conn...【阅读全文】

【HADOOP】 ZooKeeper-3.4.6分布式安装指南

niao5929 | 2014-04-23 13:08:00 | 阅读(1040) | 评论(0)

ZooKeeper-3.pdf目录目录11. 前言12. 约定13. 安装步骤23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 24. 启动ZooKeeper集群 35. 安装验证3 1. 前言介绍ZooKeeper-3.4.6版本的分布式安装，力求...【阅读全文】

【HADOOP】 ZooKeeper-3.4.6分布式安装指南

Aquester | 2014-04-22 11:49:33 | 阅读(10720) | 评论(2)

ZooKeeper-3.pdf目录目录11. 前言12. 约定13. 安装步骤23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 24. 启动ZooKeeper集群 35. 安装验证3 1. 前言介绍ZooKeeper-3.4.6版本的分布式安装，力求...【阅读全文】

【HADOOP】单机环境下Hive安装使用及与HBase整合

niao5929 | 2014-04-21 10:36:29 | 阅读(720) | 评论(0)

一、Hive下载安装先从网址http://apache.cs.utah.edu/hive/下载一个最新版本，我下载的是hive-0.12.0.tar.gz，推荐将此版本解压到Hadoop安装目录下：tar -zxvf hive-0.12.0.tar.gzcd /home/hadoop/hive-0.12.0首先仍然是配置一下环境变量，打开/etc/profile文件，加入如下配置： HIVE_HOME=/home/hadoop/hive-0.1...【阅读全文】

【HADOOP】单机环境下Hive安装使用及与HBase整合

peonyding | 2014-04-20 14:14:54 | 阅读(3500) | 评论(0)

一、Hive下载安装先从网址http://apache.cs.utah.edu/hive/下载一个最新版本，我下载的是hive-0.12.0.tar.gz，推荐将此版本解压到Hadoop安装目录下：tar -zxvf hive-0.12.0.tar.gzcd /home/hadoop/hive-0.12.0首先仍然是配置一下环境变量，打开/etc/profile文件，加入如下配置： HIVE_HOME=/home/hadoop/hive-0.1...【阅读全文】

【HADOOP】 ubuntu12.04 64bit安装hadoop2.2.0

Larpenteur | 2014-04-20 11:39:48 | 阅读(1180) | 评论(0)

1 安装准备此集群共三台机器，一台作为master: NameNode/ResouceManager，其余作为slaves: DataNode/NodeManager 三台机器都增加一个用户名，比如：hadoop1.1 安装jdk 请参考《ubuntu 12.04安装oracle jdk1.7》1.2 设置集群中每台机器的hostname $sudo vim /e...【阅读全文】

【HADOOP】看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

Aquester | 2014-04-19 11:33:41 | 阅读(3120) | 评论(0)

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3530) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】