按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2044
caojiangfeng | 2018-03-29 10:16:21 | 阅读(40) | 评论(0)
hadoop fsck:http://lxw1234.com/archives/2015/08/452.htm【阅读全文】
sh1027347389 | 2018-03-13 15:19:40 | 阅读(0) | 评论(0)
Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一个平台,其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统,可对数据系统进行分布式储存读取;【阅读全文】
caojiangfeng | 2018-01-31 17:46:57 | 阅读(90) | 评论(0)
原文地址:http://hackershell.cn/?p=1355对于每个RPC服务应该监控通常hdfs在异常任务突发大量访问时,这个参数会突然变得很大,导致其他用户访问hdfs时,会感觉到卡顿,从而影响任务的执行时间如果callqueue队列数值一直处于较高的水平,例如对于NN来说CallQueue的长度等于handler*100,也就是说NN可能收到了大...【阅读全文】
【大数据】 docker hbase hadoop
u11 | 2018-01-30 12:26:24 | 阅读(20) | 评论(0)
中国移动的hbase版本hadoop 版本1.0hbase 版本2.6【阅读全文】
gpf626487 | 2018-01-02 08:48:15 | 阅读(90) | 评论(0)
gpf626487 | 2018-01-02 08:47:11 | 阅读(150) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
DONGYUXIA | 2017-12-28 16:17:04 | 阅读(170) | 评论(0)
0. 步骤概述1. 克隆4台虚拟机1.1.0 克隆虚拟机hadoop11.1.1 右键点击当前虚拟机hadoop01.1.2 在右键菜单选中“管理”1.1.3 在“管理”的子菜单选中“克隆”1.1.4 弹出“克隆虚拟机向导”窗口1.1.5 点击“下一步”进入“克隆源”选择窗口1.1.6 在“克隆源”中选择“虚拟机当前状态”或者“现有快照(仅限...【阅读全文】
loveheping | 2017-12-21 09:33:14 | 阅读(100) | 评论(0)
laoliulaoliu | 2017-12-19 16:58:17 | 阅读(320) | 评论(0)
http://blog.jobbole.com/110388/原文:www.linbingdong.comZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介Zoo...【阅读全文】
hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)
1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b:打印文件大小(目录为0)%n:打印文件名%o:打印block size (我们要的值)%r:打印备份数%y:打印UTC日期 yyyy-MM-dd HH:mm:ss%Y:打印自1970年1月1...【阅读全文】
yepyang | 2017-12-08 17:58:52 | 阅读(0) | 评论(0)
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/zookeeper/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/sbin:/usr/local/snoopy/sbin:/opt/metasploit-framework/bin:/usr/local/kafka/bin:...【阅读全文】
hxl | 2017-12-08 08:17:45 | 阅读(0) | 评论(0)
我在在采用lzo做为hive的压缩方式后,默认情况下执行map/reduce使用的map和reduce的进程数是1,无法进行分片执行,在数据文件很大的情况下,执行起来非常的慢,这个时候我们就需要为lzo创建索引,支持分片执行。【阅读全文】
hxl | 2017-12-07 14:46:24 | 阅读(0) | 评论(0)
1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...【阅读全文】
hxl | 2017-12-07 13:53:35 | 阅读(0) | 评论(0)
环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...【阅读全文】
wenaideyu | 2017-12-06 20:02:45 | 阅读(140) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 20:01:02 | 阅读(130) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 20:00:28 | 阅读(100) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 19:59:45 | 阅读(120) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-06 19:58:55 | 阅读(110) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】
wenaideyu | 2017-12-04 12:52:13 | 阅读(100) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...【阅读全文】