全部博文(2759)
发布时间:2013-11-18 11:40:38
Hadoop的运行模式有以下三种: (1)独立模式(standalone或local mode) 无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便.........【阅读全文】
发布时间:2013-11-18 11:40:17
一、安装1、JDK 点击这里下载JDK,执行如下指令安装JDK: #rpm -ivh jdk-x.y.z.rpm 设置JDK环境变量: #vi /etc/profile &nb.........【阅读全文】
发布时间:2013-11-14 11:30:24
一、环境准备阶段:假设你需要配置集群的设备有5台:分别为master,slave1,slave2,slave3,slave4;1、每台机器都创建一个账户hadoop;2、修改每台机器的主机名:/etc/sysconfig/network 如master的机器:NETWORKING=yesHOSTNAME=master(这个名字可以随便起,方便记忆)slave1:NETWORKING=yesHOSTNAME=slave1.........【阅读全文】
发布时间:2013-11-03 06:35:08
一、简介 Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &.........【阅读全文】
发布时间:2013-10-24 11:48:10
在这里写一遍hadoop的参数说明,自己多记忆一下,如果有人需要也可以帮助一下大家Hadoop配置文件分为两类:1、只读类型的默认文件:src/core/core-default.xml src/hdfs/hdfs-default.xml src/mapred/mapred-default.xml conf/mapred-queues.xml2. 定位(site-spe.........【阅读全文】