搜索博文结果_ChinaUnix博客

levy-linux | 2015-08-28 19:55:50 | 阅读(7320) | 评论(0)

今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息： [root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】

【HADOOP】文件副本数量问题，设置的dfs.replication没有生效

levy-linux | 2015-08-28 17:00:16 | 阅读(2920) | 评论(0)

问题描述： 前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h /  这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。 执行 hadoop dfs -ls [filename]  近期的文件都是3份，上个月的抽几个文件...【阅读全文】

【HADOOP】大数据时代的技术【一】Hive

xuemling | 2015-08-24 15:27:25 | 阅读(1360) | 评论(0)

大数据时代的技术之Hive介绍，hive的简单介绍【阅读全文】

【HADOOP】 hadoop反编译安装包自带的例子

levy-linux | 2015-07-07 13:03:49 | 阅读(2230) | 评论(0)

hadoop-mapreduce-examples-2.7.0.jar包 直接解压，看到下面内容： <img src="/attachment/201507/7/25691489_1436245262vVnV.jpg" alt="" height="504" width="579" /> 上面是编译的文件。我们该如何看到源码 我们下载jad <a href="/blog/downLoad/fileid/11510.html" target...【阅读全文】

【HADOOP】 hadoop安装软件的规则

CuteB | 2015-07-06 18:46:48 | 阅读(1460) | 评论(0)

1. /opt         父目录                     /opt/modules   存放软件的安装目录                 ...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1830) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Zookeeper3.4.6的安装

niao5929 | 2015-05-19 09:42:30 | 阅读(890) | 评论(0)

Zookeeper3.4.6的安装[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]　　最近为了解决HDFS的单点故障的问题，采用了HA的方式是实现，并通过zookeeper来实现自动切换，既然需自动切换的话，那么必须要安装zookeep...【阅读全文】

【HADOOP】 Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决

niao5929 | 2015-05-19 09:38:23 | 阅读(1090) | 评论(0)

Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]我们知道Hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、...【阅读全文】

【HADOOP】 hadoop安装的时候，提前确认hadoop版本是32位还是64位。

levy-linux | 2015-05-12 11:08:15 | 阅读(3570) | 评论(0)

hadoop在安装的时候，需要知道hadoop版本是32位还是64位。hadoop官网原来提供的都是32位，因为我们大部分服务器都是64位，所以不得不重新编译。后来官网从hadoop2.5版本开始就提供了64位。我们来从官网下载的hadoop2.4.1安装包.hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命...【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

visualj | 2015-04-18 22:03:52 | 阅读(1580) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(760) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 [白皮书翻译]Apache Hadoop的MapR发行版

guoyarong11 | 2015-04-10 11:10:06 | 阅读(470) | 评论(0)

白皮书业内最可靠的Hadoop平台Apache Hadoop的MapR发行版——简单、可靠、快速的Hadoop内容目录概述战略性的Hadoop完整、先进、拥有强力支持的Hadoop发行版易用的Hadoop从批处理转向实时数据流内建数据压缩机制多集群支持筹划、搭建和...【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

niao5929 | 2015-04-10 08:59:06 | 阅读(880) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

fengzhanhai | 2015-04-09 12:03:46 | 阅读(5570) | 评论(2)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

fengzhanhai | 2015-04-08 17:32:36 | 阅读(9040) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop内置作业调度器与调度平台的集成

ecjtubaowp | 2015-04-04 09:19:30 | 阅读(2450) | 评论(0)

Hadoop 现在几乎已经成为业界在大数据上事实的标准，越来越多的企业开始采用hadoop进行数据的存储及处理。既然涉及数据处理，一个不可不提的术语就是“作业” or “job”，大量的作业必然要引入作业管理及调度，hadoop也不能例外。传统企业中的调度工具，不管像是简单crontab，或者企业级的如control-M，很容易注...【阅读全文】

【HADOOP】 “稳扎稳打泵中的小金刚”

xdilm87 | 2015-02-28 13:44:45 | 阅读(270) | 评论(0)

文章出自于：靖江市东盛泵阀制造有限公司整理转载请注明出处！
http://www.dongsheng-pump.com/products-detail.asp?cpid=49【阅读全文】

【HADOOP】 HBase和Zookeeper的安装和部署

niao5929 | 2015-02-26 15:01:54 | 阅读(570) | 评论(0)

HBase和Zookeeper的安装和部署[日期：2015-02-25]来源：Linux社区作者：smartloli[字体：大中小]1.概要1.1HBase的使用场景? 大数据量（100s TB级数据）且有快速随机访问的需求。? 例如淘宝的交易历史...【阅读全文】

【HADOOP】 Hadoop不适合处理实时数据的原因剖析

niao5929 | 2015-02-26 15:00:50 | 阅读(850) | 评论(0)

Hadoop不适合处理实时数据的原因剖析[日期：2015-02-25]来源：Linux社区作者：哥不是小萝莉[字体：大中小]1.概述　　　Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】