按类别查询搜索结果
关于关键词 的检测结果,共 75
wenaideyu | 2017-12-04 12:51:25 | 阅读(1330) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-11-30 21:15:51 | 阅读(1030) | 评论(0)
3.4 配置JDK1. 解压注意:我们所指的路径是/home/user解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz解压后,ls,可以看到蓝色的目录:jdk1.8.0_152 3-33 jdk解压目录2. 添加JDK相关的环境变量切换到root用户3-34 su命令切换编辑/et...【阅读全文】
wenaideyu | 2017-11-28 10:31:49 | 阅读(3890) | 评论(0)
2.1 什么是Guest操作系统Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统。我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛。具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Every...【阅读全文】
wenaideyu | 2017-11-28 10:30:21 | 阅读(950) | 评论(0)
1.1 什么是虚拟机 虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机。 虚拟机和真实的物理机器一样,也有CPU、硬盘、网卡、内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样。 利用虚拟机软件,我们可以在一台物理服务器上运行...【阅读全文】
laoliulaoliu | 2017-11-16 18:38:32 | 阅读(710) | 评论(0)
AWS EMR 启动的机器都很贵,想在3台t2.micro上搭建一个hadoop集群,因为t2.micro 内存1GEach daemon in Hadoop listens to a different port. The most relevant ones are:ssh -i jameson-keypair.pem bitnami@13.59.230.131/opt/bitnami/hadoop/etc/hadoop/core-site.xml<value>hdfs://localhost:9000</value>/op...【阅读全文】
caojiangfeng | 2017-10-15 17:24:17 | 阅读(3940) | 评论(0)
(1) yarn.resourcemanager.address默认值:${yarn.resourcemanager.hostname}:8032参数解释:ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。(3) yarn.resourcemanager.resource-tracker.address默认值:${yarn.resource...【阅读全文】
【大数据】 Hadoop 集群安装
zpf1218 | 2017-09-17 10:12:39 | 阅读(1140) | 评论(0)
Hadoop 集群安装1、创建用户1. 创建hadoop用户组 sudo addgroup hadoop2. 创建hadoop用户 sudo adduser -ingroup hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件 sudo gedit /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户...【阅读全文】
landuochong | 2017-09-08 16:03:40 | 阅读(960) | 评论(0)
大数据,Hadoop【阅读全文】
北冰洋18 | 2017-06-22 16:46:59 | 阅读(480) | 评论(0)
今天开始,开启大数据学习之路。从Centos安装Hadoop开始第一步:安装jdk    a)下载jdk-8u65-Linux-x64.tar.gz    b)tar开        $>su centos ; cd ~        $>mkdir downloads   &n...【阅读全文】
hxl | 2017-05-03 07:38:42 | 阅读(4760) | 评论(0)
环境配置HostnameIPOSAmbari172.16.235.164Centos X64 base installMaste.hadoop172.16.235.165...【阅读全文】
呆若 | 2016-09-08 18:31:21 | 阅读(2000) | 评论(0)
Hadoop、MapReduce、YARN和Spark的区别与联系转载:http://www.aichengxu.com/view/11030362015-03-17 16:37 本站整理 浏览(454) (1) Hadoop 1.0第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多...【阅读全文】
libydwei2007 | 2016-05-26 11:57:44 | 阅读(1680) | 评论(0)
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但...【阅读全文】
zhaoritian | 2016-04-18 10:50:18 | 阅读(6460) | 评论(0)
hadoop找不到主类 export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar理解【阅读全文】
【大数据】 hadoop集群快速搭建
dusir120 | 2016-04-10 17:15:45 | 阅读(2040) | 评论(0)
我们将部署一个两节点的hadoop集群,集群架构如下图: 2016-04-10 05.png【阅读全文】
海峡 | 2016-03-22 16:25:23 | 阅读(1070) | 评论(0)
hadoop master second【阅读全文】
【大数据】 Hadoop伪分布式
zhaoritian | 2016-03-04 17:33:08 | 阅读(0) | 评论(0)
参见:http://www.powerxing.com/install-hadoop/1.格式化 ./bin/hdfs namenode -format2.开启 NameNode 和 DataNode 守护进程  ./sbin/start-dfs.sh3.  jps   显示java进程4.停止 ./sbin/stop-dfs.sh5.成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode...【阅读全文】
suiming2005 | 2016-02-24 09:03:07 | 阅读(1800) | 评论(0)
hadoop、spark比较【阅读全文】
【大数据】 hadoop版本比较
oracle_ren | 2016-01-06 10:17:04 | 阅读(1710) | 评论(0)
由于Hadoop版本混乱多变,因此,Hadoop的版本选择问题一直令很多初级用户苦恼。本文总结了Apache Hadoop和Cloudera Hadoop的版本衍化过程,并给出了选择Hadoop版本的一些建议。 1. Apache Hadoop 1.1  Apache版本衍化截至目前(2012年12月23日),Apache Had...【阅读全文】
mingfei10 | 2015-08-26 10:35:51 | 阅读(1230) | 评论(0)
我是在linux环境下,Ubuntu14.04下配置的 
资源:java+eclipse+hadoop2.6.2 
里面包括了...【阅读全文】
【大数据】 Docker安装Hadoop集群
niao5929 | 2015-08-10 20:06:23 | 阅读(430) | 评论(0)
<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">Docker安装Hadoop集群</h1></div><table width="97%" align="center...【阅读全文】