搜索博文结果_ChinaUnix博客

niao5929 | 2015-02-19 14:04:46 | 阅读(490) | 评论(0)

ZooKeeper伪分布式集群安装及使用[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]1. zookeeper介绍ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

gzzc020 | 2015-01-31 19:12:29 | 阅读(140) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

浮零 | 2015-01-14 19:05:06 | 阅读(270) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

心跳男人 | 2015-01-14 10:09:32 | 阅读(580) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(520) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

644924073 | 2014-12-14 22:38:29 | 阅读(1630) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

why_subl | 2014-12-05 08:57:39 | 阅读(660) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

9768p1 | 2014-11-26 20:24:04 | 阅读(2620) | 评论(0)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

dsy851009 | 2014-10-22 18:35:06 | 阅读(9840) | 评论(3)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】 hadoop集群和网络

lorine168 | 2014-09-26 14:35:04 | 阅读(730) | 评论(0)

深入理解Hadoop集群和网络本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：2014WOT全球软件技术峰会北京站课程视频发布云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad He...【阅读全文】

【HADOOP】 MapReduce将默认part-r-00000重命名

double_lq | 2014-08-09 11:53:03 | 阅读(0) | 评论(0)

送给自己的话：有些时候我们太急于求成，以至于没有找到问题的本质而在那里茫然的寻找，到最后，才发现，着眼于本质，我们找到了最简单的解决问题的方法。基于hadoop-0.20.2本文的目的：在maprduce程序中，默认的输出都是以part-r-00000,part-r-00001的样式输出的。但现在我需要将文件名的part自定义，例如改成:c...【阅读全文】

【HADOOP】在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数

double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)

最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格...【阅读全文】

【HADOOP】深入理解Hadoop集群和网络

zzjlzx | 2014-07-14 10:41:26 | 阅读(1570) | 评论(0)

深入理解Hadoop集群和网络2012-11-08 14:47 Brad Hedlund csdn 字号：T | T本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：WOT2014：用户标签系统与用户...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

shengyue1990 | 2014-07-01 11:26:57 | 阅读(1140) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】集群管理小工具介绍-pdsh -------转载

dsy851009 | 2014-05-10 21:49:19 | 阅读(2270) | 评论(0)

当管理数以十计或者更多的系统时，常常需要在多台机器上执行相同的命令。pdsh即可实现。首先必须在管理节点和每台目标机器上都安装pdsh软件包。pdsh可以在指定的一组机器上执行同一个命令。例如需要管理下列机器，机器名分别为srv1,srv2,srv3,srv4,srv5。命令格式如下:pdsh -w [SSH_OR_RSH]:USERNAME@srv[1,2-4,5] [COM...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3540) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】 hadoop集群垃圾回收站

dsy851009 | 2014-04-15 10:22:03 | 阅读(3210) | 评论(0)

[root@master conf]# vim /etc/hadoop/conf/core-site.xml<property> <name>fs.trash.interval</name> <value>1440</value> <description>save one day(1440 min---60*24)</description> </property>注释：value值为保存时间，默认是0，单位...【阅读全文】

【HADOOP】集群环境下hadoop安装

peonyding | 2014-04-11 23:30:02 | 阅读(1380) | 评论(0)

各操作命令的详细原理性说明请参考 http://www.cnblogs.com/lanxuezaipiao/p/3525554.html，这里只是把关键步骤列一下，方便自己今后安装。该网址上还列出了一些可能的错误，本文略去安装过程中没有出现的错误，按照本文操作步骤若出现错误也首先参考该网址。 &nbs...【阅读全文】

【HADOOP】 hadoop2.2.0+hbase-0.96.0+zookeeper 集群搭建（之后陆续完善更新）

吟风_骋 | 2014-04-04 14:51:16 | 阅读(0) | 评论(0)

hadoop + hbase 集群安装【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

tf1008 | 2014-03-12 21:38:19 | 阅读(1400) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】