搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS Windows Java PHP Oracle 数据库云计算负载均衡

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 117 条

【LINUX】计算hadoop资源脚本

yepyang | 2018-08-07 22:35:03 | 阅读(0) | 评论(0)

参考文档:【阅读全文】

【LINUX】 Hadoop集群一般需要关注的几个重要指标

caojiangfeng | 2018-01-31 17:46:57 | 阅读(3240) | 评论(0)

原文地址：http://hackershell.cn/?p=1355对于每个RPC服务应该监控通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间如果callqueue队列数值一直处于较高的水平，例如对于NN来说CallQueue的长度等于handler*100，也就是说NN可能收到了大...【阅读全文】

【LINUX】 hadoop,jdk,scala,hbase等环境变量的配置

yepyang | 2017-12-08 17:58:52 | 阅读(0) | 评论(0)

export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/zookeeper/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/sbin:/usr/local/snoopy/sbin:/opt/metasploit-framework/bin:/usr/local/kafka/bin:...【阅读全文】

【LINUX】搭建hadoop集群时的一些报错

philos | 2017-11-01 11:43:45 | 阅读(1710) | 评论(0)

1、在做格式化时，/bin/hdfs namenode -format出错：ERROR namenode.NameNode: Failed to start namenode.java.lang.IllegalArgumentException: URI has an authority componentat java.base/java.io.File.(File.java:423)at org.apache.hadoop.hdfs.server.namenode.NNStorage.getStorageDirectory(NNStorage.j...【阅读全文】

【LINUX】 zookeeper,hbase,hadoop使用systemd文件启动

yepyang | 2017-09-11 16:16:45 | 阅读(4120) | 评论(0)

zookeeper.service[Unit] Description=hadoopAfter=network.target [Service] Type=forkingPIDFile=/opt/zookeeper/data/zookeeper_server.pidExecStart=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh start"ExecStop=/bin/su - hadoop -c "/usr/local/zookeeper/bin/zkServer.sh st...【阅读全文】

【LINUX】 hadoop,zookeeper,hbase集群配置

yepyang | 2017-08-11 15:55:31 | 阅读(2290) | 评论(0)

记录一次hadoop的安装配置，版本号：Hadoop 2.7.3，三台机器：test,home-test,hbase-test（主机名随便起，不过要先在/etc/hosts配置好）创建一个hadoop账户，来安装hadoop,也可以直接使用root安装，配置好三台机器ssh无密码登陆，如下：useradd hadoop;passwd hadoop;ssh-keygen -t rsa(直接回车，回车）;cp -a ~/.ssh/...【阅读全文】

【LINUX】 hadoop awk streaming program

damofeixue64 | 2016-08-19 15:29:22 | 阅读(1770) | 评论(0)

http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ，more 等中断后续数据处理的程序，直接的命令行不支持管道关于管道：不要在streaming里mapper和reducer中使用管道，会出现”java.io.IOException: Broken pipe”错误。关于程序文件：如果使用的是非she...【阅读全文】

【LINUX】 Centos优化Hadoop

刘遄 | 2016-05-26 21:43:46 | 阅读(2240) | 评论(0)

导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序，本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组进入如图 1-1 所示界面。上半部分是系统定制的不同的...【阅读全文】

【LINUX】 zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题

jelon521 | 2016-04-20 17:58:13 | 阅读(2500) | 评论(0)

zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题【阅读全文】

【LINUX】 hadoop在linux下的安装笔记

zghover | 2016-04-14 15:54:55 | 阅读(2280) | 评论(0)

hadoop 安装【阅读全文】

【LINUX】 Hadoop的namenode做NFS灾备

niao5929 | 2015-11-23 07:46:53 | 阅读(1390) | 评论(0)

Hadoop的namenode做NFS灾备[日期：2015-11-21]来源：www.jianshu.com 作者：hogface[字体：大中小]1.首先选定一台灾备机器作为NFS服务器（1）安装如下：apt-get install nfs-kernel-server (NFS服务器,提供nf...【阅读全文】

【LINUX】 Hadoop VS Spark

niao5929 | 2015-11-23 07:45:52 | 阅读(1590) | 评论(0)

Hadoop VS Spark[日期：2015-11-21]来源：jianshu.com 作者：hogface[字体：大中小]Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成...【阅读全文】

【LINUX】 Hadoop超级安装手册

HOPE_DBA | 2015-08-10 16:02:44 | 阅读(380) | 评论(0)

安装Hadoop并不困难，官方文档也给的还算详细。最近同事练习安装还是会遇到一些问题，最后我们整理出来傻瓜版安装手册，帮助你0基础成功。北京数据平台荣誉出品<img class="zoom" id="aimg_E4SMD" alt="" src="" border="0" lazyloaded="true" file="http://www.linezing.com/blog/wp-content/uploads/2011/05/wlEmoticon-s...【阅读全文】

【LINUX】分布式文件系统DFS之Hadoop机制分析

镇水铁牛 | 2015-06-20 09:24:22 | 阅读(660) | 评论(0)

hadoop的节点主要分NameNode和DataNode，我们把NameNode也叫做master node，DataNode叫做slave node。同时把用户的应用程序当作client。 master node负责hadoop中HDFS和Map Reduce功能管理，master node有Job Tracker服务，当Job Tracker使...【阅读全文】

【LINUX】 hadoop学习网站

ilffe | 2015-02-25 19:05:05 | 阅读(700) | 评论(0)

http://www.zhihu.com/question/19795366【阅读全文】

【LINUX】 hadoop命令大全

LinBingLinux | 2015-02-10 10:51:07 | 阅读(1960) | 评论(0)

注意，操作的时候一定要跟上路径，比如在跟路径下的文件就要写成/test.txt，------------------------------------------------------------------------一下是hadoop fs的操作1、查看hadoop fs -ls /testhadoop fs -lsr /test查看该目录下的所有文件hadoop fs -cat /test.txt查看里面的内容...【阅读全文】

【LINUX】 Ubuntu下配置Hadoop环境

IT王大王 | 2015-02-04 15:23:30 | 阅读(530) | 评论(0)

实现真正的分布式的hadoop，并不是伪分布式的。一、系统与配置共准备2台机器搭建Hadoop集群。基于Ubuntu14.04，jdk1.6.0_45，Hadoop1.0.3版本，虚拟机使用VMware10.0192.168.1.10 NameNode master （master）192.168.1.20 DateNode slave1（Slave）我的用户名就hadoo...【阅读全文】

【LINUX】 Linux下单节点安装Hadoop

ahmmh | 2015-01-12 11:24:42 | 阅读(490) | 评论(0)

作者：二青邮箱：xtfggef@gmail.com 微博： http://weibo.com/xtfggef现在开始要系统地学习下Hadoop了，虽然可能有点儿晚，但是还是想好好学习一下这门火爆的技术，让我们从安装环境开始。官方文档本文使用的个软件及版本如下：Ubuntu 14.10...【阅读全文】

【LINUX】 Linux下搭建hadoop集群环境

ahmmh | 2015-01-12 11:14:49 | 阅读(750) | 评论(0)

小编写在前面的话“天下武功，唯快不破”，但是如果不清楚原理，快也是徒劳。在这物欲横行，数据爆炸的年代，BigData时代到了，如果熟悉了整个hadoop的搭建过程，我们是否也能从中攫取一桶金？！前期准备l 两台linux虚拟机（本文使用redhat5，IP分别为 192.168.1.210、192.168.1.211）l JDK...【阅读全文】

【LINUX】基于Hadoop平台的局域网和广域网环境下的处理性能比较

非自愿精神病 | 2015-01-11 17:01:04 | 阅读(2080) | 评论(0)

1.测试目标检验在局域网环境下的hadoop平台与广域网环境下通过VPN组建的hadoop平台在处理性能上的差异。实际上检测网络通信情况，通过hadoop的terasort示例工具来做排序的压力测试，通过对比排序所用时间来确定差异。2.测试环境hadoop-1.0.0三台vmware下的ubuntu12.04，一台为Master，两台为Slave。3.实验步骤A....【阅读全文】

首页
<<
1
2
3
4
5
6
>>
末页

网络110 报警服务