搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Windows C# Mysql Oracle LINUX Hyper-V 虚拟化信息

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 99 条

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】 Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决

niao5929 | 2015-05-19 09:38:23 | 阅读(1100) | 评论(0)

Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]我们知道Hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、...【阅读全文】

【HADOOP】 Hadoop2.x解决Namenode 单点故障问题

niao5929 | 2015-05-19 09:36:12 | 阅读(780) | 评论(0)

Hadoop2.x解决Namenode 单点故障问题[日期：2015-05-19]来源：Linux社区作者：Linux[字体：大中小]Hadoop解决单点故障问题主要是通过两种方式：1、NFS文件共享2、QJM 方式 CLOUDERA提出的在Hadoop2.x中有两...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】详细的HBase讲解

zmj27404 | 2015-02-13 14:32:12 | 阅读(930) | 评论(0)

原文地址:http://jiajun.iteye.com/blog/899632【阅读全文】

【HADOOP】 MapReduce数据流（三）

CUKdd | 2015-02-03 15:46:37 | 阅读(1080) | 评论(0)

容错性
　　使用Hadoop来运行你的作业的其中一个主要原因就是它的高容错性，就算在由高失败率的节点或网络组成的大集群内运行的作业，Hadoop都可以让作业成功完成。
　　Hadoop实现容错的主要方法就是重新执行任务，单个任务节点(TaskTracker)会不断的与系统的核心节点（JobTracker）进行通信，如果一个TaskTracker在一定时间内（默认是1分钟）无法与JobTracker进行通信，那JobTracker会假设这个TaskTracker出问题挂了，JobTracker了解给每个TaskTracker赋予了那些map和reduce任务。【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(520) | 评论(0)

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

9768p1 | 2014-11-26 20:24:04 | 阅读(2630) | 评论(0)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】 hbase单列过滤器SingleColumnValueFilter

hxl | 2014-11-13 16:18:41 | 阅读(0) | 评论(0)

获取列族"base_info"下的列"age",其值大于等于30的数据Filter filter1 = new SingleColumnValueFilter("base_info".getBytes(),"age".getBytes(), CompareFilter.CompareOp.GREATER_OR_EQUAL,"30".getBytes()); 点击(此处)折叠或打开package com.hxl;...【阅读全文】

【HADOOP】 hbase列过滤器QualifierFilter

hxl | 2014-11-13 15:18:57 | 阅读(0) | 评论(0)

FilterList filterList1 = new FilterList(FilterList.Operator.MUST_PASS_ONE);//定义filterlist,MUST_PASS_ONE 类似或者的关系，满足其一即可. Filter filter1 = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Byt...【阅读全文】

【HADOOP】 hbase列族过滤器

hxl | 2014-11-13 14:08:25 | 阅读(0) | 评论(0)

这里输出列族为"base_info"对应的列: Filter filter = new FamilyFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator(Bytes.toBytes("base_info"))); 点击(此处)折叠或打开package com.hxl;import java.io.IOE...【阅读全文】

【HADOOP】数据文件数据加载到hive表

hxl | 2014-10-28 17:36:13 | 阅读(33800) | 评论(0)

下面是一个本地数据文件加载到hive表中的例子1.在hxl数据库下创建表hive> create table tb_emp_info > (id int, > name string, > age int, > tel string) > ROW FORMAT DELIMITED > FIEL...【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

dsy851009 | 2014-10-22 18:35:06 | 阅读(9840) | 评论(3)

【HADOOP】基于hadoop的mapreduce理解初步

liuzan_abc | 2014-10-11 14:31:06 | 阅读(1130) | 评论(0)

mapreduce的缺陷 (1)只能做简单的统计计算，很多复杂的算法没法表达 (2)mr的过程中做了很多无效的排序,其他的计算模型获取可以省去这些无效的计算 (3)mr启动任务需要花费时间，对于一些小当量的计算,还不如拉回...【阅读全文】

【HADOOP】 Hadoop WordCount解读

humengez | 2014-09-03 11:06:30 | 阅读(1260) | 评论(0)

转自http://a123159521.iteye.com/blog/1226924点击(此处)折叠或打开package org.frame.base.hbase.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;...【阅读全文】

【HADOOP】自定义OutPutFormat系列之三

double_lq | 2014-08-09 14:58:12 | 阅读(0) | 评论(0)

功能：完成自定义输出格式的定义，因为hadoop0.20.2没有实现MultipleOutputs和MultipleOutputFormat这两个API，所以不能调用，要自定义。package yuu; import java.io.DataOutputStream;import java.io.IOException;import java.io.UnsupportedEncodingExcep...【阅读全文】

【HADOOP】 hadoop shuffle机制中针对中间数据的排序过程详解（源代码级）

double_lq | 2014-08-05 12:41:50 | 阅读(1590) | 评论(0)

在所有公开资料中，很少有对Hadoop 中间数据的sort过程进行详细介绍的。如果想要深入了解hadoop对中间数据的排序机制，只有通过阅读源代码才能达到。而hadoop的这段代码本身具有非常大的迷惑性，如果不注意细节，很容易会发生错误的理解。本篇文章从原理上详细介绍了hadoop针对中间数据的排序机制，并且对一些重要的源代...【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列三

double_lq | 2014-08-01 11:50:12 | 阅读(0) | 评论(0)

同样接上一篇博客：将自定义类中的compareTo方法改为： public int compareTo(CombinationKey combinationKey) { logger.info("-------CombinationKey flag-------"); return this...【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列二

double_lq | 2014-08-01 11:43:56 | 阅读(0) | 评论(0)

接上一篇博客，这里我们将job.setSortComparatorClass去掉，看是不是真的执行的自定义类的compareTo方法，如果是的话，同样也验证了前面的说的Job.setSortComparatorClass会覆盖compareTo的结论。代码如下： package hh;import java.io.DataInput;import java.io.DataO...【阅读全文】

首页
<<
1
2
3
4
5
>>
末页

网络110 报警服务