按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 156
yepyang | 2018-08-07 22:35:03 | 阅读(0) | 评论(0)
参考文档:【阅读全文】
caojiangfeng | 2018-01-31 17:46:57 | 阅读(50) | 评论(0)
原文地址:http://hackershell.cn/?p=1355对于每个RPC服务应该监控通常hdfs在异常任务突发大量访问时,这个参数会突然变得很大,导致其他用户访问hdfs时,会感觉到卡顿,从而影响任务的执行时间如果callqueue队列数值一直处于较高的水平,例如对于NN来说CallQueue的长度等于handler*100,也就是说NN可能收到了大...【阅读全文】
yepyang | 2017-12-08 17:58:52 | 阅读(0) | 评论(0)
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/zookeeper/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/sbin:/usr/local/snoopy/sbin:/opt/metasploit-framework/bin:/usr/local/kafka/bin:...【阅读全文】
philos | 2017-11-01 11:43:45 | 阅读(30) | 评论(0)
1、在做格式化时,/bin/hdfs namenode -format出错:ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componentat java.base/java.io.File.(File.java:423)at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.j...【阅读全文】
yepyang | 2017-09-11 16:16:45 | 阅读(110) | 评论(0)
zookeeper.service[Unit] Description=hadoopAfter=network.target [Service] Type=forkingPIDFile=/opt/zookeeper/data/zookeeper_server.pidExecStart=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh start"ExecStop=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh st...【阅读全文】
yepyang | 2017-08-11 15:55:31 | 阅读(100) | 评论(0)
记录一次hadoop的安装配置,版本号:Hadoop 2.7.3,三台机器:test,home-test,hbase-test(主机名随便起,不过要先在/etc/hosts配置好)创建一个hadoop账户,来安装hadoop,也可以直接使用root安装,配置好三台机器ssh无密码登陆,如下:useradd hadoop;passwd hadoop;ssh-keygen -t rsa(直接回车,回车);cp -a ~/.ssh/...【阅读全文】
damofeixue64 | 2016-08-19 15:29:22 | 阅读(460) | 评论(0)
http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ,more 等中断后续数据处理的程序,直接的命令行 不支持管道关于管道:不要在streaming里mapper和reducer中使用管道,会出现”java.io.IOException: Broken pipe”错误。关于程序文件:如果使用的是非she...【阅读全文】
【LINUX】 Centos优化Hadoop
刘遄 | 2016-05-26 21:43:46 | 阅读(490) | 评论(0)
导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组 进入如图 1-1 所示界面。 上半部分是系统定制的不同的...【阅读全文】
【LINUX】 Centos优化Hadoop
刘遄 | 2016-05-26 21:43:33 | 阅读(0) | 评论(0)
导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组 进入如图 1-1 所示界面。 上半部分是系统定制的不同的...【阅读全文】
jelon521 | 2016-04-20 17:58:13 | 阅读(800) | 评论(0)
zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题【阅读全文】
zghover | 2016-04-14 15:54:55 | 阅读(1420) | 评论(0)
hadoop 安装【阅读全文】
niao5929 | 2016-03-10 08:06:32 | 阅读(980) | 评论(0)
Hadoop2.2.0上Spark伪分布式安装[日期:2016-03-09]来源:Linux社区  作者:yeruby[字体:大 中 小]Hadoop2.2.0上Spark伪分布式安装过程笔记。1. 从官网上下下载合适的版本:http://spark.apache.org/downloads.html...【阅读全文】
niao5929 | 2016-03-10 08:05:36 | 阅读(940) | 评论(0)
CentOS 6.4+Hadoop2.2.0 Spark伪分布式安装[日期:2016-03-09]来源:Linux社区  作者:sunflower_cao[字体:大 中 小]Hadoop版本是2.2.0的稳定版本 下载地址spark版本:spark-0.9.1-bin-hadoop2  下载地址http://spark.apache....【阅读全文】
niao5929 | 2015-11-23 07:46:53 | 阅读(530) | 评论(0)
Hadoop的namenode做NFS灾备[日期:2015-11-21]来源:www.jianshu.com  作者:hogface[字体:大 中 小]1.首先选定一台灾备机器作为NFS服务器(1)安装如下:apt-get install nfs-kernel-server  (NFS服务器,提供nf...【阅读全文】
【LINUX】 Hadoop VS Spark
niao5929 | 2015-11-23 07:45:52 | 阅读(530) | 评论(0)
Hadoop VS Spark[日期:2015-11-21]来源:jianshu.com  作者:hogface[字体:大 中 小]Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。HDFS,在由普通PC组成...【阅读全文】
马哥教育 | 2015-09-12 16:30:26 | 阅读(0) | 评论(0)
Hadoop系列之七:分布式文件系统HDFS(2)【阅读全文】
马哥教育 | 2015-09-11 11:22:29 | 阅读(0) | 评论(0)
Hadoop系列之六:分布式文件系统HDFS
hadoop,大数据,mapredcue,hdfs,hbase【阅读全文】
马哥教育 | 2015-09-11 10:07:19 | 阅读(0) | 评论(0)
Hadoop系列之五:MapReduce进阶(2)【阅读全文】
马哥教育 | 2015-09-10 22:25:31 | 阅读(0) | 评论(0)
Hadoop系列之四:MapReduce进阶【阅读全文】
【LINUX】 Hadoop技术论坛
kaopuso | 2015-08-28 23:54:11 | 阅读(0) | 评论(0)