按类别查询搜索结果
关于关键词 的检测结果,共 162
wenaideyu | 2017-11-29 17:14:18 | 阅读(1180) | 评论(0)
3.1 准备软件HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft3-1 Hadoop存储路径图有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习...【阅读全文】
lmz1951 | 2017-02-18 20:38:10 | 阅读(1270) | 评论(0)
Hadoop集群搭建全过程【阅读全文】
OowarrioroO | 2015-08-05 22:56:21 | 阅读(1230) | 评论(0)
setup cluster -- configure hadoop
scp the directory to all the other machines
install hadoop and configure the file
down the hadoop package
install jdk【阅读全文】
【云计算】 Hadoop ZooKeeper 原理
huaius | 2015-01-14 23:35:07 | 阅读(2020) | 评论(0)
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有...【阅读全文】
huaius | 2015-01-01 21:03:36 | 阅读(1640) | 评论(0)
环境如下:ubuntu-12.04.2-server-amd64hadoop-1.0.4VirtualBox1、在VBox中安装Ubuntu Server,用户名和密码都是hadoop,安装完成后,克隆两份,这样就有三台机器,一台master,两台slave。克隆后的slave打开不能上网,原因是克隆的时候,“重新初始化所有网卡的MAC地址”,而Ubuntu系统中网卡缓...【阅读全文】
huaius | 2014-12-28 15:52:33 | 阅读(2270) | 评论(0)
产生背景 以文件为基本存储单位的缺点1、文件大小不同,难以实现负载均衡。2、处理一个文件时,只能利用一个节点资源,无法动用集群。HFDS的定义 源自于Google的GFS论文    发表于2003年10月    HDFS是GFS克隆版Hadoop Distributed File System   ...【阅读全文】
huaius | 2014-12-21 12:23:06 | 阅读(2120) | 评论(0)
HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的,多版本的,面向列的存储模型。它存储的是松散型数据。HBase特性:1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群...【阅读全文】
【云计算】 Hadoop
644924073 | 2014-12-13 23:50:05 | 阅读(1860) | 评论(0)
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬...【阅读全文】
double_lq | 2014-05-14 18:41:38 | 阅读(0) | 评论(0)
最近发现自己收集到的Hadoop学习资料有很多本,想想放在那里也浪费,所以觉得贴出来给大家分享,需要的可以去我CSDN里面下载,保证全部资源免费下载!这里面很多英文的资料。  1、《Hadoop技术内幕:深入解析Hadoop Common和HDFS》下载地址:http://download.csdn.net/detail/w397090770/6643259。  2、《H...【阅读全文】
【云计算】 hadoop集群配置
凌馨儿 | 2014-04-20 15:49:07 | 阅读(0) | 评论(0)
① 配置网络三台机器的ip地址分别为:172.31.33.52/53/54② 修改用户权限(cd ~)sudo vi /etc/passwd :最下面一行1000→0 1000→0:wq保存退出。③ 安装ssh(cd ~)sudo apt-get install openssh-server openssh-client查看ssh有没有安...【阅读全文】
Larpenteur | 2014-03-31 09:00:42 | 阅读(1030) | 评论(0)
hadoop0.23.*的配置比之前的版本配置有好多的不同,不能再像以前一样来配置了,基本配置如下http://www.myexception.cn/open-source/1276103.html当你如上面配置完以后也许会出好多错误(版本越高,错误越多,但是你能根据错误提示来解决)例如 输入:hadoop namenode -format ????? 错误:DEP...【阅读全文】
1012191556 | 2014-03-22 21:18:24 | 阅读(3350) | 评论(0)
hadoop0.23.*的配置比之前的版本配置有好多的不同,不能再像以前一样来配置了,基本配置如下http://www.myexception.cn/open-source/1276103.html当你如上面配置完以后也许会出好多错误(版本越高,错误越多,但是你能根据错误提示来解决)例如 输入:hadoop namenode -format ????? 错误:DEP...【阅读全文】
syn2203 | 2014-01-14 10:07:46 | 阅读(2170) | 评论(0)
Hadoop集群配置(最全面总结)  huangguisu       通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common...【阅读全文】
【云计算】 hadoop安装与配置
zhangzhengxing | 2013-12-28 21:40:24 | 阅读(1550) | 评论(0)
hadoop的安装hadoop的安装分三种模式单模式伪分布式模式(5种进程节点安装到一台服务器)全分布式模式(5种进程节点分布在多台服务器)国内镜像下载地址http://mirror.bit.edu.cn/apache/hadoop/common/到hadoop的conf配置#vim hadoop-env.sh(高版本的地址不一定在此)export JAVA_HOME=/自己的jdk目录...【阅读全文】
【云计算】 Hadoop学习日志二
feilong_zhan | 2013-12-25 22:50:02 | 阅读(0) | 评论(0)
Reducer学习内容【阅读全文】
【云计算】 hadoop 源码编译
liukaiyi | 2013-12-23 00:14:03 | 阅读(3470) | 评论(0)
转自 : http://www.kankanews.com/ICkengine/archives/68278.shtml1、下载网址:http://git.apache.org/ 2、必要软件Maven这个需要注意,不要下载最新3.1.1,而是下载3.0.5,因为3.1.1存在一个bug会带来麻烦。这也是红帽、IBM不采用最新版本的原因吧,号称stable其实存在重大bug。http://jira.codehaus.org/...【阅读全文】
【云计算】 Hadoop学习日志一
feilong_zhan | 2013-12-14 11:00:35 | 阅读(0) | 评论(0)
hadoop学习日志【阅读全文】
qhw | 2013-11-14 12:30:53 | 阅读(8990) | 评论(0)
niao5929 | 2013-10-30 09:26:18 | 阅读(1230) | 评论(0)
hadoop集群是一个动辄就几百几千机器的大集群,所以配置ssh无密码登录是很有必要的,下面来介绍一下配置说明:首先我们要下载ssh :在命令行中键入“sudo  apt-get install ssh”即可然后会在相应的目录下生成隐藏文件".ssh",在.ssh文件中会有一个id_dsa文件,此文件就是私匙文件,我们要进行无密码登录就要设置公...【阅读全文】
1012191556 | 2013-10-29 21:18:11 | 阅读(5930) | 评论(0)
hadoop集群是一个动辄就几百几千机器的大集群,所以配置ssh无密码登录是很有必要的,下面来介绍一下配置说明:首先我们要下载ssh :在命令行中键入“sudo  apt-get install ssh”即可然后会在相应的目录下生成隐藏文件".ssh",在.ssh文件中会有一个id_dsa文件,此文件就是私匙文件,我们要进行无密码登录就要设置公...【阅读全文】