搜索博文结果_ChinaUnix博客

niao5929 | 2015-02-19 14:04:46 | 阅读(490) | 评论(0)

ZooKeeper伪分布式集群安装及使用[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]1. zookeeper介绍ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一...【阅读全文】

【HADOOP】 Hadoop输入的问题

ningbohezhijun | 2015-02-04 17:41:34 | 阅读(560) | 评论(0)

我是在试验代码的时候发现的这个问题，具体代码见http://yunpan.cn/cK8hUEaq4Vcw2 访问密码 56d3例如类KPIBrowser和KPIIP的输出都恰巧放在了输入的文件夹下。然后我发现当我先运行KPIBrowser后，再去运行KPIIP，hadoop就跑异常了目前不太明白为什么。暂时的解释是，hadoop输入文件夹下必须都是文件，有文件...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

gzzc020 | 2015-01-31 19:12:29 | 阅读(140) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

浮零 | 2015-01-14 19:05:06 | 阅读(270) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

心跳男人 | 2015-01-14 10:09:32 | 阅读(580) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop入门：单节点模式安装

644924073 | 2014-12-14 22:41:17 | 阅读(1640) | 评论(0)

Hadoop是Intel公司推出的一款分布式系统框架，可以用于多个系统的协同工作，主要原理使用了MapReduce框架，先将原始数据map到不同的部分，在分布式系统中处理完成后再重新reduce成为一个整体。Hadoop在云计算中可以发挥独特的作用，今天先从安装单机节点模式开始对Hadoop有个感性的认识。首先...【阅读全文】

【HADOOP】 Hadoop入门：初探Map-Reduce

644924073 | 2014-12-14 22:39:20 | 阅读(1650) | 评论(0)

由于手头项目的原因，需要在Hadoop框架之上架设运行Sleuthkit，虽然说是完成项目，自己希望每次参与项目知识结构或者思考方法都能有所提升。这次项目自己希望可以对现在流行的Hadoop框架和取证工具Sleuthkit有所积累。 Hadoop用于架设分布式系统。一般来说，实现多个系统并行计算需要考虑许多细...【阅读全文】

【HADOOP】 Hadoop入门：初探HDFS

644924073 | 2014-12-14 22:39:04 | 阅读(1750) | 评论(0)

作为一种分布式系统框架，Hadoop必须拥有不同于基于单一硬盘环境下的分布式文件系统，一个典型的特征是可以应对网络上常见的单点失效问题（SNOF）。最初设计Hadoop分布式文件系统时主要考虑以下几个问题：大数据存储、便捷的流数据访问（一次写入多次读取）和网络使用的稳定性解决方案。Concepts:&...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

644924073 | 2014-12-14 22:38:29 | 阅读(1630) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

why_subl | 2014-12-05 08:57:39 | 阅读(660) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop五分钟入门指南

644924073 | 2014-11-28 13:02:38 | 阅读(720) | 评论(0)

《Hadoop五分钟入门指南》原文见：http://blog.josedacruz.com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt如果你有大量的数据（TB级），而且这些数据到处分散，且有些数据是结构化的，有些数据不是。你想查询这些数据，你或许在想，“我需要力量来组织和查询这些数据”。是的，你需要Hadoop。一、...【阅读全文】

【HADOOP】 Hadoop 伪分布式下更换默认hadoop.tmp.dir路径

圣剑蓝骑士 | 2014-10-16 22:23:37 | 阅读(2880) | 评论(0)

hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。先说说,场景,在开发环境中,...【阅读全文】

【HADOOP】 zookeeper简介和分布式安装

tingfengjushi | 2014-09-03 15:49:31 | 阅读(1190) | 评论(0)

zookeeper简介和分布式安装 2014-01-13 22:00:14| 分类： Hadoop | 标签：hadoop zookeeper |举报|字号订阅1.简介 Zookeeper 是 Google 的 Chubby一个开源的实现，是 ...【阅读全文】

【HADOOP】多次格式化之后 datenode起不来

lorine168 | 2014-07-28 19:24:04 | 阅读(430) | 评论(0)

多次格式化后，datanode启动不了1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹中VERSION文件中的namespaceid；[root@dubai2 current]# cat VERSION #Mon Jul 28 19:10:39 CST 2014namespaceID=1346791803cTime=0storageType=NAME_NODEl...【阅读全文】

【HADOOP】在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数

double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)

最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格...【阅读全文】

【HADOOP】 MapReduce的多路径输入

double_lq | 2014-07-16 16:14:12 | 阅读(2700) | 评论(0)

目前为止知道MapReduce有三种路径输入方式。1、第一种是通过一下方式输入：FileInputFormat.addInputPath(job, new Path(args[2]));MultipleInputs.addInputPath(job, new Path(args[0]), TextInputFormat.class,EmpMapper.class);【阅读全文】

【HADOOP】深入理解Hadoop集群和网络

zzjlzx | 2014-07-14 10:41:26 | 阅读(1570) | 评论(0)

深入理解Hadoop集群和网络2012-11-08 14:47 Brad Hedlund csdn 字号：T | T本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：WOT2014：用户标签系统与用户...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

shengyue1990 | 2014-07-01 11:26:57 | 阅读(1140) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 HBase的伪分布式部署

double_lq | 2014-05-21 15:40:16 | 阅读(0) | 评论(0)

HBase 全称Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。本篇要介绍下怎么部署安装Hbase的伪分布式模式，在安装hbase前，首先得保证你的hadoop环境已经安装好，并且可以正常使用，因为hbase底层存储使用的是HDFS，所以...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

niao5929 | 2014-05-15 15:59:11 | 阅读(1600) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】