按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2195
philos | 2017-11-01 11:43:45 | 阅读(30) | 评论(0)
1、在做格式化时,/bin/hdfs namenode -format出错:ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componentat java.base/java.io.File.(File.java:423)at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.j...【阅读全文】
师范机会 | 2017-10-19 20:32:31 | 阅读(30) | 评论(0)
一、实验主机:4台阿里云主机centos6.9node1:master(namenode)node2:slave(datanode)node3:slave(datanode)node4:slave(datanode)在/etc/hosts文件中设置如上四个主机名解析 四台主机之间相互设置免密登录(这里直接使用root用户,生产环境应该使用其它应用用户),使用命令 ssh-keygen -t rsa 生成密钥对把四台主机...【阅读全文】
caojiangfeng | 2017-10-15 17:24:17 | 阅读(50) | 评论(0)
(1) yarn.resourcemanager.address默认值:${yarn.resourcemanager.hostname}:8032参数解释:ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。(3) yarn.resourcemanager.resource-tracker.address默认值:${yarn.resource...【阅读全文】
【大数据】 Hadoop
23号James | 2017-10-15 09:44:55 | 阅读(30) | 评论(0)
1.第一步:检查有无安装hadoop的服务           ps  -ef   |  grep   hadoop          find    /   -name  hadoop           使用tar进行解压操作的时候,解压成功文件会变动用户和用户组的...【阅读全文】
【大数据】 Hadoop 集群安装
zpf1218 | 2017-09-17 10:12:39 | 阅读(30) | 评论(0)
Hadoop 集群安装1、创建用户1. 创建hadoop用户组 sudo addgroup hadoop2. 创建hadoop用户 sudo adduser -ingroup hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件 sudo gedit /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户...【阅读全文】
yepyang | 2017-09-11 16:16:45 | 阅读(100) | 评论(0)
zookeeper.service[Unit] Description=hadoopAfter=network.target [Service] Type=forkingPIDFile=/opt/zookeeper/data/zookeeper_server.pidExecStart=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh start"ExecStop=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh st...【阅读全文】
landuochong | 2017-09-08 16:03:40 | 阅读(190) | 评论(0)
大数据,Hadoop【阅读全文】
yepyang | 2017-08-11 15:55:31 | 阅读(90) | 评论(0)
记录一次hadoop的安装配置,版本号:Hadoop 2.7.3,三台机器:test,home-test,hbase-test(主机名随便起,不过要先在/etc/hosts配置好)创建一个hadoop账户,来安装hadoop,也可以直接使用root安装,配置好三台机器ssh无密码登陆,如下:useradd hadoop;passwd hadoop;ssh-keygen -t rsa(直接回车,回车);cp -a ~/.ssh/...【阅读全文】
北冰洋18 | 2017-06-22 16:46:59 | 阅读(240) | 评论(0)
今天开始,开启大数据学习之路。从Centos安装Hadoop开始第一步:安装jdk    a)下载jdk-8u65-Linux-x64.tar.gz    b)tar开        $>su centos ; cd ~        $>mkdir downloads   &n...【阅读全文】
hxl | 2017-05-03 07:38:42 | 阅读(910) | 评论(0)
环境配置HostnameIPOSAmbari172.16.235.164Centos X64 base installMaste.hadoop172.16.235.165...【阅读全文】
Aquester | 2017-04-30 14:25:07 | 阅读(280) | 评论(0)
目录目录11. 前言32. 特性介绍43. 部署53.1. 机器列表63.2. 主机名63.2.1. 临时修改主机名73.2.2. 永久修改主机名73.3. 免密码登录范围73.4. 修改最大可打开文件数83.5. OOM相关:vm.overcommit_memory 84...【阅读全文】
【HADOOP】 hadoop集群搭建
闷骚的伤 | 2017-03-30 16:15:11 | 阅读(70) | 评论(0)
环境:CentOS release 6.5192.168.116.140  master192.168.116.136  slave1192.168.116.137  slave2每台配置hosts vi /etc/hsots192.168.116.140  master192.168.116.136  slave1192.168.116.137  slave2一、安装jdk:1、master操作...【阅读全文】
chengxuyonghu | 2017-03-23 14:08:05 | 阅读(170) | 评论(0)
Pig一种操作hadoop的轻量级脚本语言,最初又雅虎公司推出,不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用,不过我认为与其使用pig不如使用hive。:)Pig是一种数据流语言,用来快速轻松的处理巨大的数据。Pig包含两个部分...【阅读全文】
【系统运维】 hadoop2.6 HA部署
chengxuyonghu | 2017-03-05 15:47:21 | 阅读(300) | 评论(0)
硬件环境:四台虚拟机,hadoop1~hadoop4,3G内存,60G硬盘,2核CPU软件环境:CentOS6.5,hadoop-2.6.0-cdh5.8.2,JDK1.7部署规划:hadoop1(192.168.0.3):namenode(active)、resourcemanagerhadoop2(192.168.0.4):namenode(standby)、journalnode、datanode、nodemanager、historyserver...【阅读全文】
lmz1951 | 2017-02-18 20:38:10 | 阅读(30) | 评论(0)
Hadoop集群搭建全过程【阅读全文】
lksoulman | 2017-02-14 14:45:05 | 阅读(890) | 评论(0)
本文主要介绍 Hadoop 运行 hadoop-examples-1.2.1.jar 包中 wordcount类统计文件中的单词个数。【阅读全文】
【HADOOP】 Hadoop常用命令
人道酬诚 | 2017-02-11 00:56:32 | 阅读(30) | 评论(0)
hadoop 和 hdfs 命令用法hadoop:Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]  CLASSNAME            run the class named CLASSNAME or  where COMMAND is one of:  fs                   run a gen...【阅读全文】
lksoulman | 2017-02-09 13:30:47 | 阅读(100) | 评论(0)
Hadoop 简单介绍和安装过程介绍【阅读全文】
【系统运维】 安装hadoop+zookeeper
chengxuyonghu | 2017-02-08 10:37:42 | 阅读(190) | 评论(0)
chengxuyonghu | 2017-01-24 16:41:02 | 阅读(190) | 评论(0)
一、安装JDK1.7 JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载后安装[plain] copy rpm -ivh jdk-8u112-linux-x64.rpm  设置JDK环境变量[plain] copy ...【阅读全文】