搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Windows H3C C# Java 嵌入式 LINUX ubuntu 虚拟化

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 120 条

【HADOOP】在mapreduce程序中实现输出压缩

double_lq | 2014-08-09 13:04:30 | 阅读(0) | 评论(0)

hadoop-0.20.2 有时候需要将map的输出和reduce端的输出进行压缩，压缩代码如下：map端压缩： conf.setBoolean("mapred.compress.map.output", true);conf.setClass("mapred.map.output.compression.codec", GzipCodec.class, CompressionCodec.class);reduce端的压缩： ...【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

Larpenteur | 2014-08-01 22:48:30 | 阅读(930) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列三

double_lq | 2014-08-01 11:50:12 | 阅读(0) | 评论(0)

同样接上一篇博客：将自定义类中的compareTo方法改为： public int compareTo(CombinationKey combinationKey) { logger.info("-------CombinationKey flag-------"); return this...【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列二

double_lq | 2014-08-01 11:43:56 | 阅读(0) | 评论(0)

接上一篇博客，这里我们将job.setSortComparatorClass去掉，看是不是真的执行的自定义类的compareTo方法，如果是的话，同样也验证了前面的说的Job.setSortComparatorClass会覆盖compareTo的结论。代码如下： package hh;import java.io.DataInput;import java.io.DataO...【阅读全文】

【HADOOP】 MapReduce自定义二次排序系列一

double_lq | 2014-08-01 11:36:46 | 阅读(0) | 评论(0)

一、概述MapReduce框架对处理结果的输出会根据key值进行默认的排序，这个默认排序可以满足一部分需求，但是也是十分有限的。在我们实际的需求当中，往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现，网络上已经有很多人分享过了，但是对二次排序的实现的原理以及整个MapReduce框架的处理流程的分析还是有...【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

niao5929 | 2014-07-31 12:00:48 | 阅读(1350) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

bl竹子 | 2014-07-31 02:04:45 | 阅读(30070) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】自定义outputFormat系列之二

double_lq | 2014-07-28 12:51:54 | 阅读(0) | 评论(0)

自定义一个OutputFormat，用于输出<Text , MapWritable >格式的数据MapWritable的内容是 [Text : LongWritable ]输出格式 [url url2 :times2 ,url3 :times3 ,...] 参考TextOutputFormat，修改简化之...【阅读全文】

【HADOOP】 MapReduce的自制Writable分组输出及组内排序

double_lq | 2014-07-21 10:09:05 | 阅读(0) | 评论(0)

问题描述：输入文件格式如下：name1 2name3 4name1 6name1 1name3 3name1 0要求输出的文件格式如下：name1 0，1，2，6name3 3，4要求是按照第一列分组，name1与name3也是按照顺序排列的，组内升序排...【阅读全文】

【HADOOP】 setGroupingComparatorClass自定义输出分组

double_lq | 2014-07-20 20:05:31 | 阅读(0) | 评论(0)

在我们日常写的程序中，每个值都可以找到对应的键去存放。但是有时候需要对键值对的存放规则做出修改，例如最简单的是一个合并键值对。如果需要将对应于”aaa“”bbb“的存放为”bbb“，而对应于”ccc“”ddd“的存放为”ddd“，则需要使用自定义的分组方法。MapReduce中提供了相应的方法，即setGroupingComparatorClass.这...【阅读全文】

【HADOOP】 setSortComparatorClass自定义输出键的排序规则

double_lq | 2014-07-20 19:22:39 | 阅读(0) | 评论(0)

对大部分的默认数据类型来说，只要提供了相应的分片规则即可以对数据结果进行输出，并根据默认的数据规则进行排序。但有时在工作或者程序设计时要采用不同的排序规则。为了解决不同的排序规则能够根据需要运用在不同的设计程序中，MapReduce提供了一个对应的方法，即setSortComparatorClass，可以使用这种方法对输出据键...【阅读全文】

【HADOOP】 MapReduce的多路径输入

double_lq | 2014-07-16 16:14:12 | 阅读(2700) | 评论(0)

目前为止知道MapReduce有三种路径输入方式。1、第一种是通过一下方式输入：FileInputFormat.addInputPath(job, new Path(args[2]));MultipleInputs.addInputPath(job, new Path(args[0]), TextInputFormat.class,EmpMapper.class);【阅读全文】

【HADOOP】 eclipse里无法上传文件到hadoop的解决办法

niao5929 | 2014-07-16 11:25:21 | 阅读(500) | 评论(0)

今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Pu...【阅读全文】

【HADOOP】 eclipse上配置hadoop开发环境

hxl | 2014-07-15 21:15:13 | 阅读(0) | 评论(0)

1.1 eclipse中指定本地hadoop的目录添加了hadoop插件后,重启启动eclipse,找到Windows->preferences,指定本地的hadoop安装路径环境:eclpise: Eclipse Java EE IDE for Web DevelopersHadoop: 1.2.1 1.1 添加hadoop eclipse插件下载hadoop-eclipse-plugin-1.0.0插件,然后将该插件拷贝到e...【阅读全文】

【HADOOP】 eclipse里无法上传文件到hadoop的解决办法

hxl | 2014-07-15 14:50:40 | 阅读(9840) | 评论(0)

今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml【阅读全文】

【HADOOP】深入理解Hadoop集群和网络

zzjlzx | 2014-07-14 10:41:26 | 阅读(1570) | 评论(0)

深入理解Hadoop集群和网络2012-11-08 14:47 Brad Hedlund csdn 字号：T | T本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：WOT2014：用户标签系统与用户...【阅读全文】

【HADOOP】自定义inputformat系列之一

double_lq | 2014-07-13 13:47:58 | 阅读(0) | 评论(0)

1. 集群测试数据 2.希望以Text，Point的格式读取数据代码如下： package yuu;import java.io.DataInput;import java.io.DataOutput;import java.io.DataOutputStream;import java.io.IOException;import java....【阅读全文】

【HADOOP】自定义OutputFormat系列之二

double_lq | 2014-07-12 18:29:42 | 阅读(0) | 评论(0)

在这里自定义OutputFormat,以wordCount为背景，将其中的word作为文件名保存相应信息。具体代码如下: //自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.IOException;import java.io.UnsupportedEnco...【阅读全文】

【HADOOP】自定义OutputFormat系列之一

double_lq | 2014-07-12 16:33:42 | 阅读(0) | 评论(0)

在看了WordCount实例和TextOutputFormat的源码后，决定自定义一个OutputFormat，主要实现的功能就是将WordCount的最后输出结果中的Tab空格键转换为^^^^。具体代码如下：//自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.I...【阅读全文】

【HADOOP】在Linux上编译Hadoop-2.4.0

北极熊和企鹅 | 2014-04-22 11:06:48 | 阅读(1530) | 评论(0)

Linux上编译Hadoop-2.pdfHadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的...【阅读全文】

首页
<<
1
2
3
4
5
6
>>
末页

网络110 报警服务