搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：服务器存储 C语言项目管理 Hyper-V 虚拟化 HADOOP CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 361 条

【HADOOP】 Hadoop MapReduce二次排序原理

double_lq | 2014-08-01 10:22:10 | 阅读(0) | 评论(0)

关于二次排序主要涉及到以下几个东西：在0.20.2以前使用的是： setPartitionerClass setOutputKeyComparatorClass setOutputValueGroupingComparator在0.20.2及以后使用的是： job.setPartitionerClass(); job.setSortComparatorClass(); job.setGroupingComparatorCl...【阅读全文】

【HADOOP】 Hadoop框架排序和分组的理解

double_lq | 2014-07-21 13:15:59 | 阅读(0) | 评论(0)

MapReduce框架会确保每一个Reducer的输入都是按Key进行排序的。一般，将排序以及Map的输出传输到Reduce的过程称为混洗（shuffle)。每一个Map都包含一个环形的缓存，默认100M，Map首先将输出写到缓存当中。当缓存的内容达到“阈值”时（阈值默认的大小是缓存的80%），一个后台线程负责将结果写到硬盘，这个过程称为“spill”...【阅读全文】

【HADOOP】在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数

double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)

最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格...【阅读全文】

【HADOOP】 linux hadoop/zookeeper/hbase环境

lorine168 | 2014-07-18 18:08:42 | 阅读(980) | 评论(0)

说起这个环境，真是一把鼻涕一把泪,整整一周的时间就这么过去了，庆幸的是这个环境能用了。总共7台机器：CentOS 6.3namenode :dubai2 172.16.199.53datanode :dubai3\dubai5\dubai6\dubai8\oslo8\oslo13各软件版本：Hadoop 1.2.1；HBase 0.94.19；zookeeper-3.4.5；java version "1.6....【阅读全文】

【HADOOP】 eclipse里无法上传文件到hadoop的解决办法

niao5929 | 2014-07-16 11:25:21 | 阅读(500) | 评论(0)

今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Pu...【阅读全文】

【HADOOP】 eclipse上配置hadoop开发环境

hxl | 2014-07-15 21:15:13 | 阅读(0) | 评论(0)

1.1 eclipse中指定本地hadoop的目录添加了hadoop插件后,重启启动eclipse,找到Windows->preferences,指定本地的hadoop安装路径环境:eclpise: Eclipse Java EE IDE for Web DevelopersHadoop: 1.2.1 1.1 添加hadoop eclipse插件下载hadoop-eclipse-plugin-1.0.0插件,然后将该插件拷贝到e...【阅读全文】

【HADOOP】 eclipse里无法上传文件到hadoop的解决办法

hxl | 2014-07-15 14:50:40 | 阅读(9810) | 评论(0)

今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml【阅读全文】

【HADOOP】深入理解Hadoop集群和网络

zzjlzx | 2014-07-14 10:41:26 | 阅读(1550) | 评论(0)

深入理解Hadoop集群和网络2012-11-08 14:47 Brad Hedlund csdn 字号：T | T本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：WOT2014：用户标签系统与用户...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

shengyue1990 | 2014-07-01 11:26:57 | 阅读(1140) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop

ztguang | 2014-06-20 11:28:16 | 阅读(2490) | 评论(0)

http://baike.baidu.com/view/908354.htm?fr=aladdinHadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。看来，不仅现在Hadoop是企业大数据的标准，而且在未来，它的地位似乎一时难以动摇。一个分布式系统基础架构，由Apache基金会...【阅读全文】

【HADOOP】 Hadoop MapReduce篇（更新）

dsy851009 | 2014-06-16 21:52:42 | 阅读(2610) | 评论(0)

上一篇也简单提到了Hadoop中的MapReduce（下面都简写为MR）是一种分布式计算模型，起初由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce,用户只需要实现Map()和Reduce()两个函数，即可实现分布式计算，这两个函数的形参是key、value对，表示函数的输入信息...【阅读全文】

【HADOOP】 hadoop基础理论篇（不断更新）

dsy851009 | 2014-06-09 00:41:18 | 阅读(5630) | 评论(1)

1、基础了解先说说Hadoop是个什么玩意儿，一个分布式系统基础架构，由apache基金会所研发，用户可以利用集群的威力高速运算和存储数据； Hadoop实现了一个分布式文件系统（Hadoop Distributed Flie Syste...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

niao5929 | 2014-05-15 15:59:11 | 阅读(1600) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

niao5929 | 2014-05-15 15:58:59 | 阅读(1350) | 评论(0)

端口作用9000fs.defaultFS，如：hdfs://172.25.40.171:9000 9001dfs.namenode.rpc-address，DataNode会连接这个端口 50070dfs.namenode.http-address 50470...【阅读全文】

【HADOOP】 Hadoop 2.2.0 64位编译

yuanxb1985 | 2014-05-04 11:14:02 | 阅读(2970) | 评论(0)