按类别查询搜索结果
关于关键词 的检测结果,共 361
北极熊和企鹅 | 2014-04-22 11:06:48 | 阅读(1450) | 评论(0)
 Linux上编译Hadoop-2.pdfHadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼。第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器可访问互联网,否则难逐一解决所有的...【阅读全文】
Aquester | 2014-04-21 15:50:27 | 阅读(5410) | 评论(0)
 Linux上编译Hadoop-2.pdfHadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼。第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器可访问互联网,否则难逐一解决所有的...【阅读全文】
Aquester | 2014-04-19 14:34:32 | 阅读(5130) | 评论(0)
134217728 / 1024 = 131072 / 1024 = 128【阅读全文】
niao5929 | 2014-04-18 22:17:45 | 阅读(920) | 评论(0)
Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析.pdf“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前,没有清空DataNode节点的data目录。 网上一些文章和帖子说是tmp目录,它本身也是没问题的,但Hadoop 2.4.0是data目录,实际上这个信息已经由...【阅读全文】
Larpenteur | 2014-04-18 08:30:56 | 阅读(840) | 评论(0)
一、amazon ec2 环境 申请4台VPC(virtual private cloud),在一个security group下,ubuntu 12.04.4。 1台m3.large,cpu 2.5GHz双核,7G内存,30G分区在/mnt 下,这台机器用来当NameNode。 3台m1.large,cpu 1.8GHz双核,7G内存,400G分区在/mnt 下,这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】
Larpenteur | 2014-04-18 08:30:36 | 阅读(1190) | 评论(0)
0. 机器结构1台NameNode,3台DataNode1.3.0.241 cloud11.3.10.229 cloud21.3.10.231 cloud31.3.10.230 cloud41.Hadoopcore-site.xml<configuration> <property>   <name>fs.defaultFS</name>   <val...【阅读全文】
Aquester | 2014-04-17 19:55:26 | 阅读(14750) | 评论(2)
Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析.pdf“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前,没有清空DataNode节点的data目录。 网上一些文章和帖子说是tmp目录,它本身也是没问题的,但Hadoop 2.4.0是data目录,实际上这个信息已经由...【阅读全文】
niao5929 | 2014-04-17 13:21:59 | 阅读(630) | 评论(0)
一、amazon ec2 环境 申请4台VPC(virtual private cloud),在一个security group下,ubuntu 12.04.4。 1台m3.large,cpu 2.5GHz双核,7G内存,30G分区在/mnt 下,这台机器用来当NameNode。 3台m1.large,cpu 1.8GHz双核,7G内存,400G分区在/mnt 下,这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】
niao5929 | 2014-04-17 13:21:41 | 阅读(490) | 评论(0)
0. 机器结构1台NameNode,3台DataNode1.3.0.241 cloud11.3.10.229 cloud21.3.10.231 cloud31.3.10.230 cloud41.Hadoopcore-site.xml<configuration> <property>   <name>fs.defaultFS</name>   <val...【阅读全文】
laoliulaoliu | 2014-04-16 20:53:47 | 阅读(2010) | 评论(1)
0. 机器结构1台NameNode,3台DataNode1.3.0.241 cloud11.3.10.229 cloud21.3.10.231 cloud31.3.10.230 cloud41.Hadoopcore-site.xml<configuration> <property>   <name>fs.defaultFS</name>   <val...【阅读全文】
laoliulaoliu | 2014-04-16 20:43:17 | 阅读(6090) | 评论(2)
一、amazon ec2 环境 申请4台VPC(virtual private cloud),在一个security group下,ubuntu 12.04.4。 1台m3.large,cpu 2.5GHz双核,7G内存,30G分区在/mnt 下,这台机器用来当NameNode。 3台m1.large,cpu 1.8GHz双核,7G内存,400G分区在/mnt 下,这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】
dsy851009 | 2014-04-15 10:22:03 | 阅读(3200) | 评论(0)
[root@master conf]# vim /etc/hadoop/conf/core-site.xml<property>        <name>fs.trash.interval</name>    <value>1440</value>    <description>save one day(1440 min---60*24)</description>  </property>注释:value值为保存时间,默认是0,单位...【阅读全文】
peonyding | 2014-04-12 14:39:52 | 阅读(1870) | 评论(0)
1. DataNode,jobtracker等启动了又关闭,日志内容如下:INFO org.apache.hadoop.hdfs.DFSClient: Exception in createBlockOutputStream 114.212.85.58:50010 java.net.NoRouteToHostException: 没有到主机的路由2014-04-01 22:06:12,333 INFO org.apache.hadoop.hdfs.DFSClient: Abandoning blk_-6974938156988693758_31...【阅读全文】
peonyding | 2014-04-11 23:30:02 | 阅读(1350) | 评论(0)
      各操作命令的详细原理性说明请参考 http://www.cnblogs.com/lanxuezaipiao/p/3525554.html,这里只是把关键步骤列一下,方便自己今后安装。该网址上还列出了一些可能的错误,本文略去安装过程中没有出现的错误,按照本文操作步骤若出现错误也首先参考该网址。    &nbs...【阅读全文】
吟风_骋 | 2014-04-10 16:34:02 | 阅读(0) | 评论(0)
hadoop 自主翻译总结【阅读全文】
【HADOOP】 hadoop 工作原理
吟风_骋 | 2014-04-09 19:22:46 | 阅读(0) | 评论(0)
hadoop 工作原理【阅读全文】
吟风_骋 | 2014-04-09 16:59:36 | 阅读(0) | 评论(0)
Hadoop并行计算原理与分布式并发编程
【阅读全文】
【HADOOP】 Hadoop启动配置
lyonliyang | 2014-04-08 10:42:29 | 阅读(0) | 评论(0)
Hadoop启动配置【阅读全文】
peonyding | 2014-03-29 17:30:07 | 阅读(2050) | 评论(0)
一、创建Hadoop用户    sudo addgroup hadoop  sudo adduser --ingroup hadoop hadoop但是,所创建的用户还不具备admin权限,所以需要赋予admin权限。  sudo gedit /etc/sudoers# Members of the admin group may gain root privileges%admin ALL=(ALL) ALLhadoop ALL=(ALL) ALL这样,就...【阅读全文】
xyaxlz | 2014-03-24 16:25:08 | 阅读(3350) | 评论(0)
如果用eclipse 连接hadoop测试 一定要把core-site.xml  hdfs-site.xml 放到和包test同目录下 不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】