按类别查询搜索结果
关于关键词 的检测结果,共 117
yepyang | 2018-08-07 22:35:03 | 阅读(0) | 评论(0)
参考文档:【阅读全文】
caojiangfeng | 2018-01-31 17:46:57 | 阅读(3240) | 评论(0)
原文地址:http://hackershell.cn/?p=1355对于每个RPC服务应该监控通常hdfs在异常任务突发大量访问时,这个参数会突然变得很大,导致其他用户访问hdfs时,会感觉到卡顿,从而影响任务的执行时间如果callqueue队列数值一直处于较高的水平,例如对于NN来说CallQueue的长度等于handler*100,也就是说NN可能收到了大...【阅读全文】
yepyang | 2017-12-08 17:58:52 | 阅读(0) | 评论(0)
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/zookeeper/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/sbin:/usr/local/snoopy/sbin:/opt/metasploit-framework/bin:/usr/local/kafka/bin:...【阅读全文】
philos | 2017-11-01 11:43:45 | 阅读(1710) | 评论(0)
1、在做格式化时,/bin/hdfs namenode -format出错:ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componentat java.base/java.io.File.(File.java:423)at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.j...【阅读全文】
yepyang | 2017-09-11 16:16:45 | 阅读(4120) | 评论(0)
zookeeper.service[Unit] Description=hadoopAfter=network.target [Service] Type=forkingPIDFile=/opt/zookeeper/data/zookeeper_server.pidExecStart=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh start"ExecStop=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh st...【阅读全文】
yepyang | 2017-08-11 15:55:31 | 阅读(2290) | 评论(0)
记录一次hadoop的安装配置,版本号:Hadoop 2.7.3,三台机器:test,home-test,hbase-test(主机名随便起,不过要先在/etc/hosts配置好)创建一个hadoop账户,来安装hadoop,也可以直接使用root安装,配置好三台机器ssh无密码登陆,如下:useradd hadoop;passwd hadoop;ssh-keygen -t rsa(直接回车,回车);cp -a ~/.ssh/...【阅读全文】
damofeixue64 | 2016-08-19 15:29:22 | 阅读(1770) | 评论(0)
http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ,more 等中断后续数据处理的程序,直接的命令行 不支持管道关于管道:不要在streaming里mapper和reducer中使用管道,会出现”java.io.IOException: Broken pipe”错误。关于程序文件:如果使用的是非she...【阅读全文】
【LINUX】 Centos优化Hadoop
刘遄 | 2016-05-26 21:43:46 | 阅读(2240) | 评论(0)
导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组 进入如图 1-1 所示界面。 上半部分是系统定制的不同的...【阅读全文】
jelon521 | 2016-04-20 17:58:13 | 阅读(2500) | 评论(0)
zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题【阅读全文】
zghover | 2016-04-14 15:54:55 | 阅读(2280) | 评论(0)
hadoop 安装【阅读全文】
niao5929 | 2015-11-23 07:46:53 | 阅读(1380) | 评论(0)
Hadoop的namenode做NFS灾备[日期:2015-11-21]来源:www.jianshu.com  作者:hogface[字体:大 中 小]1.首先选定一台灾备机器作为NFS服务器(1)安装如下:apt-get install nfs-kernel-server  (NFS服务器,提供nf...【阅读全文】
【LINUX】 Hadoop VS Spark
niao5929 | 2015-11-23 07:45:52 | 阅读(1590) | 评论(0)
Hadoop VS Spark[日期:2015-11-21]来源:jianshu.com  作者:hogface[字体:大 中 小]Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。HDFS,在由普通PC组成...【阅读全文】
HOPE_DBA | 2015-08-10 16:02:44 | 阅读(380) | 评论(0)
安装Hadoop并不困难,官方文档也给的还算详细。最近同事练习安装还是会遇到一些问题,最后我们整理出来傻瓜版安装手册,帮助你0基础成功。北京数据平台荣誉出品<img class="zoom" id="aimg_E4SMD" alt="" src="" border="0" lazyloaded="true" file="http://www.linezing.com/blog/wp-content/uploads/2011/05/wlEmoticon-s...【阅读全文】
镇水铁牛 | 2015-06-20 09:24:22 | 阅读(660) | 评论(0)
        hadoop的节点主要分NameNode和DataNode,我们把NameNode也叫做master node,DataNode叫做slave node。同时把用户的应用程序当作client。         master node负责hadoop中HDFS和Map Reduce功能管理,master node有Job Tracker服务,当Job Tracker使...【阅读全文】
【LINUX】 hadoop学习网站
ilffe | 2015-02-25 19:05:05 | 阅读(690) | 评论(0)
http://www.zhihu.com/question/19795366【阅读全文】
【LINUX】 hadoop命令大全
LinBingLinux | 2015-02-10 10:51:07 | 阅读(1960) | 评论(0)
注意,操作的时候一定要跟上路径,比如在跟路径下的文件就要写成/test.txt,------------------------------------------------------------------------一下是hadoop fs的操作1、查看hadoop fs -ls /testhadoop fs -lsr /test查看该目录下的所有文件hadoop fs -cat /test.txt查看里面的内容...【阅读全文】
IT王大王 | 2015-02-04 15:23:30 | 阅读(530) | 评论(0)
实现真正的分布式的hadoop,并不是伪分布式的。一、系统与配置 共准备2台机器搭建Hadoop集群。基于Ubuntu14.04,jdk1.6.0_45,Hadoop1.0.3版本,虚拟机使用VMware10.0192.168.1.10 NameNode master (master)192.168.1.20 DateNode slave1(Slave)我的用户名就hadoo...【阅读全文】
ahmmh | 2015-01-12 11:24:42 | 阅读(490) | 评论(0)
作者:二青邮箱:xtfggef@gmail.com     微博: http://weibo.com/xtfggef现在开始要系统地学习下Hadoop了,虽然可能有点儿晚,但是还是想好好学习一下这门火爆的技术,让我们从安装环境开始。 官方文档本文使用的个软件及版本如下:Ubuntu 14.10...【阅读全文】
ahmmh | 2015-01-12 11:14:49 | 阅读(750) | 评论(0)
小编写在前面的话“天下武功,唯快不破”,但是如果不清楚原理,快也是徒劳。在这物欲横行,数据爆炸的年代,BigData时代到了,如果熟悉了整个hadoop的搭建过程,我们是否也能从中攫取一桶金?!前期准备l  两台linux虚拟机(本文使用redhat5,IP分别为 192.168.1.210、192.168.1.211)l  JDK...【阅读全文】
非自愿精神病 | 2015-01-11 17:01:04 | 阅读(2080) | 评论(0)
1.测试目标检验在局域网环境下的hadoop平台与广域网环境下通过VPN组建的hadoop平台在处理性能上的差异。实际上检测网络通信情况,通过hadoop的terasort示例工具来做排序的压力测试,通过对比排序所用时间来确定差异。2.测试环境hadoop-1.0.0三台vmware下的ubuntu12.04,一台为Master,两台为Slave。3.实验步骤A....【阅读全文】