搜索博文结果_ChinaUnix博客

double_lq | 2014-07-13 13:47:58 | 阅读(0) | 评论(0)

1. 集群测试数据 2.希望以Text，Point的格式读取数据代码如下： package yuu;import java.io.DataInput;import java.io.DataOutput;import java.io.DataOutputStream;import java.io.IOException;import java....【阅读全文】

【HADOOP】自定义OutputFormat系列之二

double_lq | 2014-07-12 18:29:42 | 阅读(0) | 评论(0)

在这里自定义OutputFormat,以wordCount为背景，将其中的word作为文件名保存相应信息。具体代码如下: //自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.IOException;import java.io.UnsupportedEnco...【阅读全文】

【HADOOP】自定义OutputFormat系列之一

double_lq | 2014-07-12 16:33:42 | 阅读(0) | 评论(0)

在看了WordCount实例和TextOutputFormat的源码后，决定自定义一个OutputFormat，主要实现的功能就是将WordCount的最后输出结果中的Tab空格键转换为^^^^。具体代码如下：//自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.I...【阅读全文】

【HADOOP】 terasort与map reduce的性能分析

shenyanxxxy | 2014-07-11 10:42:56 | 阅读(3810) | 评论(0)

bin/hadoop jar hadoop-examples-1.1.2.jar teragen 80000000 terasort/1-input对teragen产生的数据进行排序，方法如下所示：bin/hadoop jar hadoop-examples-1.1.2.jar terasort terasort/1-input terasort/1G-output1一个reduce任务在一台机器上运行。hadoop默认只开启一个reduce任务，运行完整个任务，时间在14min左...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

shengyue1990 | 2014-07-01 11:26:57 | 阅读(1140) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 WordCount编译运行过程及shell脚本实现

Larpenteur | 2014-07-01 03:25:35 | 阅读(790) | 评论(0)

MapReduce、WordCount、shell脚本【阅读全文】

【HADOOP】 WordCount编译运行过程及shell脚本实现

bl竹子 | 2014-06-25 18:00:36 | 阅读(8870) | 评论(0)

MapReduce、WordCount、shell脚本【阅读全文】

【HADOOP】 HBase的伪分布式部署

double_lq | 2014-05-21 15:40:16 | 阅读(0) | 评论(0)

HBase 全称Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。本篇要介绍下怎么部署安装Hbase的伪分布式模式，在安装hbase前，首先得保证你的hadoop环境已经安装好，并且可以正常使用，因为hbase底层存储使用的是HDFS，所以...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

niao5929 | 2014-05-15 15:59:11 | 阅读(1600) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 Spark 0.9.1和Shark 0.9.1分布式安装指南

niao5929 | 2014-05-15 15:58:21 | 阅读(830) | 评论(0)

Spark 0.9.1和Shark 0.9.1分布式安装指南.pdf目录目录11. 约定12. 安装Scala 12.1. 下载22.2. 安装22.3. 设置环境变量23. 安装Spark 23.1. 部署23.2. 下载33.3. 安装33.4. 配置33.4.1. 修改conf/s...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

kings_way_cu | 2014-05-02 20:47:57 | 阅读(1200) | 评论(1)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

Larpenteur | 2014-04-30 12:24:23 | 阅读(1940) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

ichenxiaohu | 2014-04-30 12:16:46 | 阅读(1190) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 HBase-0.98.0和Phoenix-4.0.0分布式安装指南

niao5929 | 2014-04-28 22:43:37 | 阅读(1300) | 评论(0)

HBase-0.98.0和Phoenix-4.0.0分布式安装指南.pdf目录目录11. 前言12. 约定23. 相关端口24. 下载HBase 25. 安装步骤25.1. 修改conf/regionservers 25.2. 修改conf/hbase-site.xml 35.2.1. hbase.master.info.port45.2.2. hb...【阅读全文】

【HADOOP】 ZooKeeper学习记录

linlinhust | 2014-04-28 17:02:53 | 阅读(600) | 评论(0)

起初，看了几篇文章，按照zookeeper使用和原理探究（一）所述，在一台linux服务器上搭建了包含3个server的伪集群。这个时候还没理解zk的原理，尤其是文章里说的Server、Client，后来自己琢磨加上问人，文章里的Server指的不是zk本身，而是在zk系统里创建Node的程序(服务、应用)，Client是去操作（主要是get、watch等）Serve...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

aquester | 2014-04-28 09:32:26 | 阅读(17010) | 评论(13)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 ZooKeeper-3.4.6分布式安装指南

Larpenteur | 2014-04-28 01:27:50 | 阅读(980) | 评论(0)

ZooKeeper-3.pdf目录目录11. 前言12. 约定13. 安装步骤23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 24. 启动ZooKeeper集群 35. 安装验证3 1. 前言介绍ZooKeeper-3.4.6版本的分布式安装，力求...【阅读全文】

【HADOOP】 HBase-1.2.1和Phoenix-4.7.0分布式安装指南

aquester | 2014-04-25 09:23:05 | 阅读(12010) | 评论(4)

HBase-0.98.0和Phoenix-4.0.0分布式安装指南.pdf目录目录11. 前言12. 约定23. 相关端口24. 下载HBase 25. 安装步骤25.1. 修改conf/regionservers 25.2. 修改conf/hbase-site.xml 35.2.1. hbase.master.info.port45.2.2. hb...【阅读全文】

【HADOOP】 ZooKeeper-3.4.6分布式安装指南

niao5929 | 2014-04-23 13:08:00 | 阅读(1040) | 评论(0)

ZooKeeper-3.pdf目录目录11. 前言12. 约定13. 安装步骤23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 24. 启动ZooKeeper集群 35. 安装验证3 1. 前言介绍ZooKeeper-3.4.6版本的分布式安装，力求...【阅读全文】

【HADOOP】 ZooKeeper-3.4.6分布式安装指南

Aquester | 2014-04-22 11:49:33 | 阅读(10720) | 评论(2)

ZooKeeper-3.pdf目录目录11. 前言12. 约定13. 安装步骤23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 24. 启动ZooKeeper集群 35. 安装验证3 1. 前言介绍ZooKeeper-3.4.6版本的分布式安装，力求...【阅读全文】