按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2200
gpf626487 | 2018-01-02 08:47:11 | 阅读(120) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
gpf626487 | 2018-01-02 08:28:00 | 阅读(90) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
DONGYUXIA | 2017-12-28 16:17:04 | 阅读(130) | 评论(0)
0. 步骤概述1. 克隆4台虚拟机1.1.0 克隆虚拟机hadoop11.1.1 右键点击当前虚拟机hadoop01.1.2 在右键菜单选中“管理”1.1.3 在“管理”的子菜单选中“克隆”1.1.4 弹出“克隆虚拟机向导”窗口1.1.5 点击“下一步”进入“克隆源”选择窗口1.1.6 在“克隆源”中选择“虚拟机当前状态”或者“现有快照(仅限...【阅读全文】
loveheping | 2017-12-21 09:33:14 | 阅读(60) | 评论(0)
laoliulaoliu | 2017-12-19 16:58:17 | 阅读(200) | 评论(0)
http://blog.jobbole.com/110388/原文:www.linbingdong.comZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介Zoo...【阅读全文】
hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)
1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b:打印文件大小(目录为0)%n:打印文件名%o:打印block size (我们要的值)%r:打印备份数%y:打印UTC日期 yyyy-MM-dd HH:mm:ss%Y:打印自1970年1月1...【阅读全文】
yepyang | 2017-12-08 17:58:52 | 阅读(0) | 评论(0)
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/zookeeper/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/sbin:/usr/local/snoopy/sbin:/opt/metasploit-framework/bin:/usr/local/kafka/bin:...【阅读全文】
hxl | 2017-12-08 08:17:45 | 阅读(0) | 评论(0)
我在在采用lzo做为hive的压缩方式后,默认情况下执行map/reduce使用的map和reduce的进程数是1,无法进行分片执行,在数据文件很大的情况下,执行起来非常的慢,这个时候我们就需要为lzo创建索引,支持分片执行。【阅读全文】
hxl | 2017-12-07 14:46:24 | 阅读(0) | 评论(0)
1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...【阅读全文】
hxl | 2017-12-07 13:53:35 | 阅读(0) | 评论(0)
环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...【阅读全文】
wenaideyu | 2017-12-06 20:02:45 | 阅读(110) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 20:01:02 | 阅读(120) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 20:00:28 | 阅读(90) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 19:59:45 | 阅读(100) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 19:58:55 | 阅读(90) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-04 12:52:13 | 阅读(90) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-04 12:51:25 | 阅读(110) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-11-30 21:15:51 | 阅读(110) | 评论(0)
3.4 配置JDK1. 解压注意:我们所指的路径是/home/user解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz解压后,ls,可以看到蓝色的目录:jdk1.8.0_152 3-33 jdk解压目录2. 添加JDK相关的环境变量切换到root用户3-34 su命令切换编辑/et...【阅读全文】
wenaideyu | 2017-11-29 17:14:18 | 阅读(290) | 评论(0)
3.1 准备软件HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft3-1 Hadoop存储路径图有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习...【阅读全文】
wenaideyu | 2017-11-28 10:31:49 | 阅读(2280) | 评论(0)
2.1 什么是Guest操作系统Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统。我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛。具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Every...【阅读全文】