搜索博文结果_ChinaUnix博客

Larpenteur | 2013-10-24 11:48:10 | 阅读(640) | 评论(0)

在这里写一遍hadoop的参数说明，自己多记忆一下，如果有人需要也可以帮助一下大家Hadoop配置文件分为两类：1、只读类型的默认文件：src/core/core-default.xml src/hdfs/hdfs-default.xml src/mapred/mapred-default.xml conf/mapred-queues.xml2. 定位（site-spe...【阅读全文】

【云计算】 hadoop配置参数说明

1012191556 | 2013-10-21 21:39:24 | 阅读(3110) | 评论(0)

在这里写一遍hadoop的参数说明，自己多记忆一下，如果有人需要也可以帮助一下大家Hadoop配置文件分为两类：1、只读类型的默认文件：src/core/core-default.xml src/hdfs/hdfs-default.xml src/mapred/mapred-default.xml conf/mapred-queues.xml2. 定位（site-spe...【阅读全文】

【云计算】 Hadoop为什么没有采用RAID？

ying091104 | 2013-08-30 10:47:45 | 阅读(1460) | 评论(0)

HDFS集群没有采用RAID(冗余磁盘阵列)作为datanodes的存储设备(尽管namenode使用RAID来保护元数据不会丢失)。由于HDFS是采用在节点之间块复制的方法，所以RAID提供的冗余机制对HDFS来说是多余的。此外，RAID条带(RAID 0)常用于增加性能，但却比HDFS中用到的JBOD(Just a Bunch Of Disks)要慢，而且JBOD在所有的磁盘之间...【阅读全文】

【云计算】 Hadoop中map数的计算

ying091104 | 2013-08-23 17:33:02 | 阅读(610) | 评论(0)

Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是：goalSize = totalSize / mapred.map.tasksminSize = max {mapred.min.split.size, minSplitSize}splitSize = max (minSize, min(goalSize, dfs.block.size))totalSize是一个JOB的所有map总的输入大小，即Map input byt...【阅读全文】

【云计算】 [转载]Hadoop几种版本之间的区别

圣剑蓝骑士 | 2013-07-31 11:34:15 | 阅读(610) | 评论(0)

转自http://www.cnblogs.com/sidmeng/archive/2012/04/09/2438592.html目前，hadoop社区有几个不同的分支版本，各个版本之前又相互联系。以下是几个主要版本的一些介绍。 0.20.2是一个stable的版本，他又几个子版本，0.20.203 具有security特性，但是不具有append和raid功能。 0.20-append具有a...【阅读全文】

【云计算】 Hadoop分布式并行编程入门

Larpenteur | 2013-07-26 23:51:46 | 阅读(570) | 评论(0)

Hadoop MapReduce HDFS 分布式并行编程【阅读全文】

【云计算】 hadoop环境搭建

Larpenteur | 2013-07-16 02:33:02 | 阅读(420) | 评论(0)

新搭建的hadoop环境,使用起来还不错1、修改主机信息每个node节点需要修改/etc/hosts文件 192.168.1.xxx master 192.168.1.xxx node1 192.168.1.xxx node22、修改自动登录设置每个节点均操作 ssh-keygen -t rsa 将生成的id_rsa.pub密码信息输入到authorized_k...【阅读全文】

【云计算】 hadoop环境搭建

niao5929 | 2013-07-15 23:36:23 | 阅读(540) | 评论(0)

新搭建的hadoop环境,使用起来还不错1、修改主机信息每个node节点需要修改/etc/hosts文件 192.168.1.xxx master 192.168.1.xxx node1 192.168.1.xxx node22、修改自动登录设置每个节点均操作 ssh-keygen -t rsa 将生成的id_rsa.pub密码信息输入到authorized_k...【阅读全文】

【云计算】 hadoop环境搭建

hbjxzl | 2013-07-13 23:21:18 | 阅读(2840) | 评论(0)

新搭建的hadoop环境,使用起来还不错1、修改主机信息每个node节点需要修改/etc/hosts文件 192.168.1.xxx master 192.168.1.xxx node1 192.168.1.xxx node22、修改自动登录设置每个节点均操作 ssh-keygen -t rsa 将生成的id_rsa.pub密码信息输入到authorized_k...【阅读全文】

【云计算】 hadoop 添加kerberos认证

shigf_2015 | 2013-07-09 21:32:31 | 阅读(2460) | 评论(0)

【阅读全文】

【云计算】 Hadoop实战-中高级部分之 Hadoop作业调优参数调整及原理

yakamoz1121 | 2013-06-13 16:24:08 | 阅读(2110) | 评论(0)

Hadoop RestFul Hadoop HDFS原理1 Hadoop HDFS原理2 Hadoop作业调优参数调整及原理 Hadoop HA Hadoop MapReduce高级编程 Hadoop IO Hadoop MapReduce工作原理 Hadoop 管理 ...【阅读全文】

【云计算】 Hadoop学习总结:Map-Reduce入门

yakamoz1121 | 2013-06-13 09:12:05 | 阅读(1700) | 评论(0)

转自：http://www.cnblogs.com/forfuture1978/archive/2010/11/14/1877086.html1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中...【阅读全文】

【云计算】 Hadoop Map/Reduce教程[一]

qianit | 2013-06-08 11:06:12 | 阅读(1520) | 评论(0)

Hadoop_MapReduce教程.doc【阅读全文】

【云计算】最新学习hadoop

mayu8758 | 2013-05-06 22:41:06 | 阅读(480) | 评论(0)

http://www.osedu.info/cloud-computing
云计算【阅读全文】

【云计算】 hadoop datanode启动不起来

圣剑蓝骑士 | 2013-04-06 20:34:57 | 阅读(2600) | 评论(0)

hadoop datanode启动不起来转自：http://book.51cto.com/art/201110/298602.htm如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及...【阅读全文】

【云计算】 Hadoop中datanode无法启动

圣剑蓝骑士 | 2013-04-06 20:30:47 | 阅读(1940) | 评论(0)

摘要：该文档解决了多次格式化文件系统后，datanode无法启动的问题一、问题描述当我多次格式化文件系统时，如root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format会出现datanode无法启动，查看日志，发现错误为：2012-04-20 20:39:46,501 ERROR org.apache.hadoop.hdfs.server.dat...【阅读全文】

【云计算】搭建hadoop集群 datanode无法启动的原因

圣剑蓝骑士 | 2013-04-06 20:24:49 | 阅读(1000) | 评论(0)

【阅读全文】

【云计算】 WebService&Axis2&Tomcat6&Hadoop/HDFS搭建服务时遇到的一些问题

slp195 | 2013-04-03 16:18:06 | 阅读(3720) | 评论(1)

http://blog.csdn.net/xiaochunyong/article/details/7764683----------------------------------------------------java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration 解决方案：commons-configuration-1.6.jar 缺少了这个包----------------------------------------------------...【阅读全文】

【云计算】 Hadoop集群配置（最全面总结）

niao5929 | 2013-04-01 16:00:00 | 阅读(360) | 评论(0)

Hadoop集群配置（最全面总结） huangguisu 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common...【阅读全文】

【云计算】 Hadoop集群配置（最全面总结）

圣剑蓝骑士 | 2013-04-01 11:50:09 | 阅读(600) | 评论(0)

Hadoop集群配置（最全面总结） huangguisu 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common...【阅读全文】