按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2195
hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)
1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b:打印文件大小(目录为0)%n:打印文件名%o:打印block size (我们要的值)%r:打印备份数%y:打印UTC日期 yyyy-MM-dd HH:mm:ss%Y:打印自1970年1月1...【阅读全文】
yepyang | 2017-12-08 17:58:52 | 阅读(0) | 评论(0)
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/zookeeper/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/sbin:/usr/local/snoopy/sbin:/opt/metasploit-framework/bin:/usr/local/kafka/bin:...【阅读全文】
hxl | 2017-12-08 08:17:45 | 阅读(0) | 评论(0)
我在在采用lzo做为hive的压缩方式后,默认情况下执行map/reduce使用的map和reduce的进程数是1,无法进行分片执行,在数据文件很大的情况下,执行起来非常的慢,这个时候我们就需要为lzo创建索引,支持分片执行。【阅读全文】
hxl | 2017-12-07 14:46:24 | 阅读(0) | 评论(0)
1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...【阅读全文】
hxl | 2017-12-07 13:53:35 | 阅读(0) | 评论(0)
环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...【阅读全文】
wenaideyu | 2017-12-06 20:02:45 | 阅读(100) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 20:01:02 | 阅读(100) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 20:00:28 | 阅读(80) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 19:59:45 | 阅读(90) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 19:58:55 | 阅读(80) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-04 12:52:13 | 阅读(90) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-04 12:51:25 | 阅读(110) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-11-30 21:15:51 | 阅读(110) | 评论(0)
3.4 配置JDK1. 解压注意:我们所指的路径是/home/user解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz解压后,ls,可以看到蓝色的目录:jdk1.8.0_152 3-33 jdk解压目录2. 添加JDK相关的环境变量切换到root用户3-34 su命令切换编辑/et...【阅读全文】
wenaideyu | 2017-11-29 17:14:18 | 阅读(230) | 评论(0)
3.1 准备软件HDFS是Hadoop的一个组件,它并没有单独发布,因此,我们需要下载Hadoop的安装包。1. 下载Hadoop3.0.0-beta1,保存到d:\hdfs3\soft3-1 Hadoop存储路径图有关beta1版本的介绍:它是API稳定的版本,但不保证质量,并且不打算用于生产环境。因此,此版本可以用来提前学习...【阅读全文】
wenaideyu | 2017-11-28 10:31:49 | 阅读(1940) | 评论(0)
2.1 什么是Guest操作系统Guest指虚拟机,安装Guest操作系统,就是在我们刚才定制的虚拟机nn1上安装操作系统。我们要安装的操作系统是Linux,它有很多发行版,在这里我们选择Centos系列,它主要用作服务器操作系统,非常稳定,在生产环境中应用广泛。具体版本是Centos 7,64位,下载地址为:CentOS-7-x86_64-Every...【阅读全文】
wenaideyu | 2017-11-28 10:30:21 | 阅读(210) | 评论(0)
1.1 什么是虚拟机 虚拟机是一个软件,运行在我们的计算机上,通过它可以模拟一台计算机。 虚拟机和真实的物理机器一样,也有CPU、硬盘、网卡、内存这些硬件,在虚拟机上同样可以安装操作系统,操作系统安装好后,使用起来和真实的机器基本一样。 利用虚拟机软件,我们可以在一台物理服务器上运行...【阅读全文】
dsy851009 | 2017-11-27 18:30:31 | 阅读(8160) | 评论(0)
最近有个需求,就是对视频日志中的部分URL提取出来,并随机挑选五条。由于线上日志比较大,而且需要每天执行一次,如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作:1、hadoop集群;2、mapper和reducer划分;初步把提取url的操作划分为mapper中执行,随机挑选5条由reducer去...【阅读全文】
laoliulaoliu | 2017-11-16 18:38:32 | 阅读(90) | 评论(0)
AWS EMR 启动的机器都很贵,想在3台t2.micro上搭建一个hadoop集群,因为t2.micro 内存1GEach daemon in Hadoop listens to a different port. The most relevant ones are:ssh -i jameson-keypair.pem bitnami@13.59.230.131/opt/bitnami/hadoop/etc/hadoop/core-site.xml<value>hdfs://localhost:9000</value>/op...【阅读全文】
powerful_boy | 2017-11-10 14:45:33 | 阅读(30) | 评论(0)
hadoop,spark,hbase实时应用【阅读全文】
powerful_boy | 2017-11-09 17:36:44 | 阅读(20) | 评论(0)
hadoop客户端部署【阅读全文】