按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2206
wenaideyu | 2017-12-06 19:58:55 | 阅读(100) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-04 12:52:13 | 阅读(90) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-04 12:51:25 | 阅读(120) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-11-30 21:15:51 | 阅读(120) | 评论(0)
3.4 配置JDK1. 解压注意:我们所指的路径是/home/user解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz解压后,ls,可以看到蓝色的目录:jdk1.8.0_152 3-33 jdk解压目录2. 添加JDK相关的环境变量切换到root用户3-34 su命令切换编辑/et...【阅读全文】
wenaideyu | 2017-11-29 17:14:18 | 阅读(300) | 评论(0)
3.1 准备软件HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft3-1 Hadoop存储路径图有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习...【阅读全文】
wenaideyu | 2017-11-28 10:31:49 | 阅读(2320) | 评论(0)
2.1 什么是Guest操作系统Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统。我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛。具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Every...【阅读全文】
wenaideyu | 2017-11-28 10:30:21 | 阅读(270) | 评论(0)
1.1 什么是虚拟机 虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机。 虚拟机和真实的物理机器一样,也有CPU、硬盘、网卡、内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样。 利用虚拟机软件,我们可以在一台物理服务器上运行...【阅读全文】
dsy851009 | 2017-11-27 18:30:31 | 阅读(16720) | 评论(0)
最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去...【阅读全文】
laoliulaoliu | 2017-11-16 18:38:32 | 阅读(100) | 评论(0)
AWS EMR 启动的机器都很贵,想在3台t2.micro上搭建一个hadoop集群,因为t2.micro 内存1GEach daemon in Hadoop listens to a different port. The most relevant ones are:ssh -i jameson-keypair.pem bitnami@13.59.230.131/opt/bitnami/hadoop/etc/hadoop/core-site.xml<value>hdfs://localhost:9000</value>/op...【阅读全文】
powerful_boy | 2017-11-10 14:45:33 | 阅读(40) | 评论(0)
hadoop,spark,hbase实时应用【阅读全文】
powerful_boy | 2017-11-09 17:36:44 | 阅读(20) | 评论(0)
hadoop客户端部署【阅读全文】
philos | 2017-11-01 11:43:45 | 阅读(30) | 评论(0)
1、在做格式化时,/bin/hdfs namenode -format出错:ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componentat java.base/java.io.File.(File.java:423)at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.j...【阅读全文】
师范机会 | 2017-10-19 20:32:31 | 阅读(30) | 评论(0)
一、实验主机:4台阿里云主机centos6.9node1:master(namenode)node2:slave(datanode)node3:slave(datanode)node4:slave(datanode)在/etc/hosts文件中设置如上四个主机名解析 四台主机之间相互设置免密登录(这里直接使用root用户,生产环境应该使用其它应用用户),使用命令 ssh-keygen -t rsa 生成密钥对把四台主机...【阅读全文】
caojiangfeng | 2017-10-15 17:24:17 | 阅读(50) | 评论(0)
(1) yarn.resourcemanager.address默认值:${yarn.resourcemanager.hostname}:8032参数解释:ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。(3) yarn.resourcemanager.resource-tracker.address默认值:${yarn.resource...【阅读全文】
【大数据】 Hadoop
23号James | 2017-10-15 09:44:55 | 阅读(30) | 评论(0)
1.第一步:检查有无安装hadoop的服务           ps  -ef   |  grep   hadoop          find    /   -name  hadoop           使用tar进行解压操作的时候,解压成功文件会变动用户和用户组的...【阅读全文】
【大数据】 Hadoop 集群安装
zpf1218 | 2017-09-17 10:12:39 | 阅读(40) | 评论(0)
Hadoop 集群安装1、创建用户1. 创建hadoop用户组 sudo addgroup hadoop2. 创建hadoop用户 sudo adduser -ingroup hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件 sudo gedit /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户...【阅读全文】
yepyang | 2017-09-11 16:16:45 | 阅读(120) | 评论(0)
zookeeper.service[Unit] Description=hadoopAfter=network.target [Service] Type=forkingPIDFile=/opt/zookeeper/data/zookeeper_server.pidExecStart=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh start"ExecStop=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh st...【阅读全文】
landuochong | 2017-09-08 16:03:40 | 阅读(200) | 评论(0)
大数据,Hadoop【阅读全文】
yepyang | 2017-08-11 15:55:31 | 阅读(110) | 评论(0)
记录一次hadoop的安装配置,版本号:Hadoop 2.7.3,三台机器:test,home-test,hbase-test(主机名随便起,不过要先在/etc/hosts配置好)创建一个hadoop账户,来安装hadoop,也可以直接使用root安装,配置好三台机器ssh无密码登陆,如下:useradd hadoop;passwd hadoop;ssh-keygen -t rsa(直接回车,回车);cp -a ~/.ssh/...【阅读全文】
北冰洋18 | 2017-06-22 16:46:59 | 阅读(260) | 评论(0)
今天开始,开启大数据学习之路。从Centos安装Hadoop开始第一步:安装jdk    a)下载jdk-8u65-Linux-x64.tar.gz    b)tar开        $>su centos ; cd ~        $>mkdir downloads   &n...【阅读全文】