搜索博文结果_ChinaUnix博客

levy-linux | 2015-08-29 22:32:34 | 阅读(1580) | 评论(0)

（一）备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 ...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1840) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

visualj | 2015-04-18 22:03:52 | 阅读(1580) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

niao5929 | 2015-04-10 08:59:06 | 阅读(880) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

fengzhanhai | 2015-04-09 12:03:46 | 阅读(5570) | 评论(2)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

fengzhanhai | 2015-04-08 17:32:36 | 阅读(9070) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】使用命令行编译打包运行自己的MapReduce程序(2.4.1)

cheyo | 2015-02-13 21:43:16 | 阅读(330) | 评论(0)

使用命令行编译打包运行自己的MapReduce程序(Hadoop 2.4.1)【阅读全文】

【HADOOP】 shell调用hive执行汇总统计

hxl | 2014-11-28 17:32:10 | 阅读(0) | 评论(0)

点击(此处)折叠或打开#!/bin/shcurrent_sysdate=`date +"%Y-%m-%d %H:%M:%S"` dutyno=100statedate=$1month=`echo $statedate|cut -c1-6`year=`echo $...【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

9768p1 | 2014-11-26 20:24:04 | 阅读(2630) | 评论(0)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】 hbase表维护管理

hxl | 2014-11-05 17:18:58 | 阅读(0) | 评论(0)

1.修改表的VERSIONS建表的时候要是不指定VERSIONS的话,默认情况下该值为1,下面将VERSIONS修改大于等于2alter 'oss_user_label_action_data',{NAME=>'info','VERSIONS'=>2}【阅读全文】

【HADOOP】 hive日常维护

hxl | 2014-10-30 10:12:14 | 阅读(0) | 评论(0)

1.创建数据库create database hxl;数据库的文件路径默认是在hive-site.xml文件hive.metastore.warehouse.dir参数定义的路径,我这里是/user/hive/warehouse,当然同时自己也可以指定目录,如:create database ods location '/user/hive/ods.db';【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

dsy851009 | 2014-10-22 18:35:06 | 阅读(9840) | 评论(3)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】安装hive 运行show tables命令时报错

dsy851009 | 2014-09-11 14:36:48 | 阅读(6380) | 评论(0)

错误：hive> show tables; FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreException An exception was thrown while adding/validating class(es) : Specified key was too long;...【阅读全文】

【HADOOP】自定义OutPutFormat系列之三

double_lq | 2014-08-09 14:58:12 | 阅读(0) | 评论(0)

功能：完成自定义输出格式的定义，因为hadoop0.20.2没有实现MultipleOutputs和MultipleOutputFormat这两个API，所以不能调用，要自定义。package yuu; import java.io.DataOutputStream;import java.io.IOException;import java.io.UnsupportedEncodingExcep...【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列三

double_lq | 2014-08-01 11:50:12 | 阅读(0) | 评论(0)

同样接上一篇博客：将自定义类中的compareTo方法改为： public int compareTo(CombinationKey combinationKey) { logger.info("-------CombinationKey flag-------"); return this...【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列二

double_lq | 2014-08-01 11:43:56 | 阅读(0) | 评论(0)

接上一篇博客，这里我们将job.setSortComparatorClass去掉，看是不是真的执行的自定义类的compareTo方法，如果是的话，同样也验证了前面的说的Job.setSortComparatorClass会覆盖compareTo的结论。代码如下： package hh;import java.io.DataInput;import java.io.DataO...【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列一

double_lq | 2014-08-01 11:36:46 | 阅读(0) | 评论(0)

一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个MapReduce框架的处理流程的分析还是有...【阅读全文】

【HADOOP】自定义outputFormat系列之二

double_lq | 2014-07-28 12:51:54 | 阅读(0) | 评论(0)

自定义一个OutputFormat，用于输出<Text , MapWritable >格式的数据MapWritable的内容是 [Text : LongWritable ]输出格式 [url url2 :times2 ,url3 :times3 ,...] 参考TextOutputFormat，修改简化之...【阅读全文】

【HADOOP】基于hive的日志数据统计实战

double_lq | 2014-07-19 11:04:59 | 阅读(0) | 评论(0)

基于 hive 的日志数据统计实战一、 hive 简介 hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据...【阅读全文】

【HADOOP】自定义inputformat系列之一

double_lq | 2014-07-13 13:47:58 | 阅读(0) | 评论(0)

1. 集群测试数据 2.希望以Text，Point的格式读取数据代码如下： package yuu;import java.io.DataInput;import java.io.DataOutput;import java.io.DataOutputStream;import java.io.IOException;import java....【阅读全文】