搜索博文结果_ChinaUnix博客

Larpenteur | 2013-11-18 11:40:49 | 阅读(810) | 评论(0)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop初探之安装Apache Hadoop

Larpenteur | 2013-11-18 11:40:17 | 阅读(750) | 评论(0)

一、安装1、JDK 点击这里下载JDK，执行如下指令安装JDK： #rpm -ivh jdk-x.y.z.rpm 设置JDK环境变量： #vi /etc/profile &nb...【阅读全文】

【HADOOP】 Hadoop初探之安装Apache Hadoop

niao5929 | 2013-11-18 09:24:56 | 阅读(480) | 评论(0)

一、安装1、JDK 点击这里下载JDK，执行如下指令安装JDK： #rpm -ivh jdk-x.y.z.rpm 设置JDK环境变量： #vi /etc/profile &nb...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

niao5929 | 2013-11-17 20:59:28 | 阅读(470) | 评论(1)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop初探之安装Apache Hadoop

scq2099yt | 2013-11-17 16:56:31 | 阅读(5700) | 评论(1)

一、安装1、JDK 点击这里下载JDK，执行如下指令安装JDK： #rpm -ivh jdk-x.y.z.rpm 设置JDK环境变量： #vi /etc/profile &nb...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

scq2099yt | 2013-11-16 13:49:28 | 阅读(4950) | 评论(1)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 hadoop集群安装步骤

Larpenteur | 2013-11-14 11:30:24 | 阅读(650) | 评论(0)

一、环境准备阶段：假设你需要配置集群的设备有5台：分别为master,slave1,slave2,slave3,slave4；1、每台机器都创建一个账户hadoop;2、修改每台机器的主机名：/etc/sysconfig/network 如master的机器：NETWORKING=yesHOSTNAME=master（这个名字可以随便起，方便记忆）slave1：NETWORKING=yesHOSTNAME=slave1...【阅读全文】

【HADOOP】 hadoop集群安装步骤

niao5929 | 2013-11-13 10:18:43 | 阅读(610) | 评论(0)

一、环境准备阶段：假设你需要配置集群的设备有5台：分别为master,slave1,slave2,slave3,slave4；1、每台机器都创建一个账户hadoop;2、修改每台机器的主机名：/etc/sysconfig/network 如master的机器：NETWORKING=yesHOSTNAME=master（这个名字可以随便起，方便记忆）slave1：NETWORKING=yesHOSTNAME=slave1...【阅读全文】

【HADOOP】 hadoop集群安装步骤

dsy851009 | 2013-11-12 18:59:20 | 阅读(9820) | 评论(1)

一、环境准备阶段：假设你需要配置集群的设备有5台：分别为master,slave1,slave2,slave3,slave4；1、每台机器都创建一个账户hadoop;2、修改每台机器的主机名：/etc/sysconfig/network 如master的机器：NETWORKING=yesHOSTNAME=master（这个名字可以随便起，方便记忆）slave1：NETWORKING=yesHOSTNAME=slave1...【阅读全文】

【HADOOP】 Hive的安装配置

jiongtoast | 2013-10-25 13:16:49 | 阅读(600) | 评论(0)

hive的安装配置【阅读全文】

【HADOOP】 Ubuntu下如何禁用IPv6

windhawkgyang | 2013-10-16 11:32:02 | 阅读(12960) | 评论(1)

分布式下的hadoop/hbase运行总出问题，zookeeper连接总是出问题，怀疑可能是ipv6的问题，于是决定在Ubuntu下禁用IPv4。自己的版本是Ubuntu-12.04，貌似8.0之后的版本禁用ipv6都需要修改内核的加载项进行设置：1. sudo vim /etc/default/grub2. 将文件中的 GRUB_CMDLINE_LINUX_DEFAULT="...【阅读全文】

【HADOOP】 Windows下查看CLASS文件

windhawkgyang | 2013-09-05 13:43:36 | 阅读(210) | 评论(0)

这几天没怎么看MFC了，全力用在STK的源码排错上。不过对于java的代码自己看起来还是有些吃力的，毕竟才刚刚熟悉面向对象编程，了解了类的基本概念。自己运行tpkickoff时中间的某个job提示错误java.lang.NullPointerException，然后给出了一些列异常出现的文件位置：第一个错误...【阅读全文】

【HADOOP】 mapreduce理解--（转载自heipark的日志）

dsy851009 | 2013-09-02 13:59:23 | 阅读(2140) | 评论(0)

linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008 查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合）再来一个例子，关于SQL：select * from device&nb...【阅读全文】

【HADOOP】 Ubuntu 下配置hadoop 1.0.3 （Single Node Cluster）

bearmimi001 | 2013-08-23 15:59:34 | 阅读(1800) | 评论(0)

1.安装ssh 2.安装resync 3.配置ssh免密码登录 ssh-keygen -t rsa -P ""cd ~/.sshcat id_rsa.pub >> authorized_keys登录localhost;...【阅读全文】

【HADOOP】 Ubuntu 下配置hadoop 1.0.3 （Single Node Cluster）

Larpenteur | 2013-08-20 11:02:17 | 阅读(570) | 评论(0)

1.安装ssh 2.安装resync 3.配置ssh免密码登录 ssh-keygen -t rsa -P ""cd ~/.sshcat id_rsa.pub >> authorized_keys登录localhost;...【阅读全文】

【HADOOP】 Ubuntu 下配置hadoop 1.0.3 （Single Node Cluster）

好喜儿 | 2013-08-20 00:44:40 | 阅读(2940) | 评论(0)

1.安装ssh 2.安装resync 3.配置ssh免密码登录 ssh-keygen -t rsa -P ""cd ~/.sshcat id_rsa.pub >> authorized_keys登录localhost;...【阅读全文】

【HADOOP】 HDFS 分布式文件系统

houselong | 2013-08-08 10:04:43 | 阅读(360) | 评论(0)

HDFS 分布式文件系统【阅读全文】

【HADOOP】 Hadoop安装手册1-基础扫盲及准备工作

houselong | 2013-08-08 09:39:37 | 阅读(380) | 评论(0)

如今的Hadoop不仅声名远扬，影响力在apache的开源项目中也占据着头把交椅，国内外已有非常的成功应用。就目前来说，我对Hadoop整个体系连个大概的了解都说不上，个人倒是老早就想深入学习这套体系，本地磁盘上的安装包更是早就下载好了，不过文件保存日期久远的我自己都不好意思看。　　值此新年伊始，欣喜地看到tigerfi...【阅读全文】

【HADOOP】 Hadoop安装手册2-Hadoop环境配置

houselong | 2013-08-08 09:39:22 | 阅读(390) | 评论(0)

2、Hadoop配置2.1 配置参数我们任选一个节点，比如说就hdnode1吧，使用grid用户登录，而后修改配置文件，详细如下。配置hadoop的基础环境变量，如JDK位置，hadoop一些配置、文件及日志的路径，这些配置都在hadoop-env.sh文件中：[grid@hdnode1 ~]$ vi /usr/local/hadoop-0.20.2/conf/hadoop-env.sh &n...【阅读全文】

【HADOOP】 Hadoop安装手册4-添加与删除Hadoop节点

houselong | 2013-08-08 09:39:00 | 阅读(470) | 评论(0)

3、HDFS添加节点现有环境如下：192.168.30.203 hdnode1192.168.30.204 hdnode2192.168.30.205 hdnode3其中hdnode1是namenode，hdnode2和hdnode3是datanode我们要新增加两个datanode：192.168.30.206 hdnode4192.168.30.207 hdnode5那...【阅读全文】