ChinaUnix首页
|
论坛
|
博客
博客首页
博客专家
往日推荐
博客文集
博文
博主
热搜:
iOS
系统运维
存储
C语言
Ruby
嵌入式
WINDOWS
虚拟化
博客首页 〉
搜索结果
按类别查询搜索结果
操作系统
程序设计
数据库
热点技术
综合
架构与运维
移动开发与应用
Web前端
LINUX
|
BSD
|
WINDOWS
|
其他UNIX
|
AIX
|
SOLARIS
|
C/C++
|
Java
|
Python/Ruby
|
项目管理
|
Web开发
|
嵌入式
|
C#/.net
|
PHP
|
Delphi
|
PERL
|
Erlang
|
Verilog
|
敏捷开发
|
Mysql/postgreSQL
|
Oracle
|
DB2/Informix
|
Sybase
|
数据库开发技术
|
SQLite/嵌入式数据库
|
SQLServer
|
NOSQL
|
虚拟化
|
云计算
|
大数据
|
HADOOP
|
高性能计算
|
IT业界
|
IT职场
|
信息化
|
网络与安全
|
系统运维
|
服务器与存储
|
架构设计与优化
|
Android平台
|
iOS平台
|
Windows平台
|
其他平台
|
Html/Css
|
JavaScript
|
jQuery
|
HTML5
|
关于关键词 的检测结果,共
99
条
【HADOOP】
MapReduce自定义二次
排
序 系
列
一
double_lq
| 2014-08-01 11:36:46 | 阅读(0) | 评论(0)
一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的。在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现,网络上已经有很多人分享过了,但是对二次排序的实现的原理以及整个MapReduce框架的处理流程的分析还是有...
【阅读全文】
【HADOOP】
Hadoop MapReduce二次
排
序原理
double_lq
| 2014-08-01 10:22:10 | 阅读(0) | 评论(0)
关于二次排序主要涉及到以下几个东西:在0.20.2以前使用的是: setPartitionerClass setOutputKeyComparatorClass setOutputValueGroupingComparator在0.20.2及以后使用的是: job.setPartitionerClass(); job.setSortComparatorClass(); job.setGroupingComparatorCl...
【阅读全文】
【HADOOP】
自定义outputFormat系
列
之二
double_lq
| 2014-07-28 12:51:54 | 阅读(0) | 评论(0)
自定义一个OutputFormat,用于输出<Text , MapWritable >格式的数据MapWritable的内容是 [Text : LongWritable ]输出格式 [url url2 :times2 ,url3 :times3 ,...] 参考TextOutputFormat,修改简化之...
【阅读全文】
【HADOOP】
Hadoop框架
排
序和分组的理
解
double_lq
| 2014-07-21 13:15:59 | 阅读(0) | 评论(0)
MapReduce框架会确保每一个Reducer的输入都是按Key进行排序的。一般,将排序以及Map的输出传输到Reduce的过程称为混洗(shuffle)。每一个Map都包含一个环形的缓存,默认100M,Map首先将输出写到缓存当中。当缓存的内容达到“阈值”时(阈值默认的大小是缓存的80%),一个后台线程负责将结果写到硬盘,这个过程称为“spill”...
【阅读全文】
【HADOOP】
MapReduce的自制Writable分组输出及组内
排
序
double_lq
| 2014-07-21 10:09:05 | 阅读(0) | 评论(0)
问题描述:输入文件格式如下:name1 2name3 4name1 6name1 1name3 3name1 0要求输出的文件格式如下:name1 0,1,2,6name3 3,4要求是按照第一列分组,name1与name3也是按照顺序排列的,组内升序排...
【阅读全文】
【HADOOP】
使用二次
排
序自动查找最小值
double_lq
| 2014-07-20 21:18:18 | 阅读(0) | 评论(0)
键的值可以根据需要对其进行多次排序操作,例如一个键中既包含Text类型,又包含IntWritable类型,那么可以通过二次排序对键进行排序操作。例如有一部分数据,数据内容如下:需要对数据中的值求得每个键对应的最小值。实现的完整代码如下: package yuu;import java.io.DataInput;...
【阅读全文】
【HADOOP】
setSortComparatorClass自定义输出键的
排
序规则
double_lq
| 2014-07-20 19:22:39 | 阅读(0) | 评论(0)
对大部分的默认数据类型来说,只要提供了相应的分片规则即可以对数据结果进行输出,并根据默认的数据规则进行排序。但有时在工作或者程序设计时要采用不同的排序规则。为了解决不同的排序规则能够根据需要运用在不同的设计程序中,MapReduce提供了一个对应的方法,即setSortComparatorClass,可以使用这种方法对输出据键...
【阅读全文】
【HADOOP】
eclipse里无法上传文件到hadoop的
解
决办法
niao5929
| 2014-07-16 11:25:21 | 阅读(500) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件,但是无法创建目录和上传文件,解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Pu...
【阅读全文】
【HADOOP】
一个经典的MapReduce模板代码,倒
排
索引(ReverseIndex)
ichenxiaohu
| 2014-07-15 18:21:22 | 阅读(730) | 评论(0)
一个经典的MapReduce模板代码,倒排索引(ReverseIndex)
【阅读全文】
【HADOOP】
eclipse里无法上传文件到hadoop的
解
决办法
hxl
| 2014-07-15 14:50:40 | 阅读(9840) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件,但是无法创建目录和上传文件,解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml
【阅读全文】
【HADOOP】
深入理
解
Hadoop集群和网络
zzjlzx
| 2014-07-14 10:41:26 | 阅读(1570) | 评论(0)
深入理解Hadoop集群和网络2012-11-08 14:47 Brad Hedlund csdn 字号:T | T本文将着重于讨论Hadoop集群的体系结构和方法,及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD:WOT2014:用户标签系统与用户...
【阅读全文】
【HADOOP】
自定义inputformat系
列
之一
double_lq
| 2014-07-13 13:47:58 | 阅读(0) | 评论(0)
1. 集群测试数据 2.希望以Text,Point的格式读取数据代码如下: package yuu;import java.io.DataInput;import java.io.DataOutput;import java.io.DataOutputStream;import java.io.IOException;import java....
【阅读全文】
【HADOOP】
一个经典的MapReduce模板代码,倒
排
索引(ReverseIndex)
tingfengjushi
| 2014-07-12 19:55:51 | 阅读(3440) | 评论(0)
一个经典的MapReduce模板代码,倒排索引(ReverseIndex)
【阅读全文】
【HADOOP】
自定义OutputFormat系
列
之二
double_lq
| 2014-07-12 18:29:42 | 阅读(0) | 评论(0)
在这里自定义OutputFormat,以wordCount为背景,将其中的word作为文件名保存相应信息。具体代码如下: //自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.IOException;import java.io.UnsupportedEnco...
【阅读全文】
【HADOOP】
自定义OutputFormat系
列
之一
double_lq
| 2014-07-12 16:33:42 | 阅读(0) | 评论(0)
在看了WordCount实例和TextOutputFormat的源码后,决定自定义一个OutputFormat,主要实现的功能就是将WordCount的最后输出结果中的Tab空格键转换为^^^^。具体代码如下://自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.I...
【阅读全文】
【HADOOP】
Sqoop工具使用(
三
)--把HDFS中的数据导入到Oracle
Larpenteur
| 2014-04-20 11:43:09 | 阅读(1580) | 评论(0)
sqoop export工具把HDFS中的数据导入到rdbms系统中,实现方式有三种:(1)insert mode:生成insert语句然后执行,这是默认的方式(2)update mode:生成update语句,替换数据库中的记录(3)call mode:调用存储过程处理每一条记录:Common argumentsArgument Description--connect <jdbc-uri...
【阅读全文】
【HADOOP】
查看HDFS集群
信
息
Aquester
| 2014-04-19 10:42:14 | 阅读(3540) | 评论(0)
clusterID:集群ID,必须保持一致1)在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...
【阅读全文】
【HADOOP】
Sqoop工具使用(
三
)--把HDFS中的数据导入到Oracle
hexel
| 2014-04-17 11:39:01 | 阅读(9080) | 评论(0)
sqoop export工具把HDFS中的数据导入到rdbms系统中,实现方式有三种:(1)insert mode:生成insert语句然后执行,这是默认的方式(2)update mode:生成update语句,替换数据库中的记录(3)call mode:调用存储过程处理每一条记录:Common argumentsArgument Description--connect <jdbc-uri...
【阅读全文】
【HADOOP】
Storm的wordCounter计数器详
解
Aquester
| 2014-03-31 22:56:37 | 阅读(5100) | 评论(0)
原文:http://www.maoxiangyi.cn/index.php/archives/362作者:毛祥溢 发布:2013-08-26 18:19 分类:BigData, Storm 阅读:676次 抢沙发 Storm的wordCounter计数器详解,这篇文章主要是介绍原理和实现 Demo拓扑package cn.jd.storm; import...
【阅读全文】
【HADOOP】
Hadoop编程学习(
三
):namenode内部关键数据结构介绍
lingshaohusoft
| 2014-03-19 11:17:17 | 阅读(2090) | 评论(0)
1 概述本文档目的在于对namenode中各种关键的数据结构进行剖析和解释,以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包括对namenode中Namenode和FSNameSystem的程序代码结构,FSDirectory,BlocksMap, CorruptReplicationMap,excessReplicateMap, UnderReplicatedBlocks,PendingRepl...
【阅读全文】
首页
<<
1
2
3
4
5
>>
末页