按类别查询搜索结果
关于关键词 的检测结果,共 162
qhw | 2013-03-15 18:00:25 | 阅读(14520) | 评论(0)
hadoop namenode second-namenode【阅读全文】
slp195 | 2013-03-09 22:37:45 | 阅读(6760) | 评论(0)
hadoop 运行mapred程序涉及第三方jar包出现“ClassNotFound”解决办法比如我们要运行的mapred 是在package slp.nbinput 中那么classes文件夹中显示如下:classes/slp/nbinput/xxx.class我们要加在的包是yy.jar(第三方包),那么我们在classes文件夹下建立lib文件夹,将yy.jar考入lib目录...【阅读全文】
qhw | 2013-02-27 14:13:36 | 阅读(2810) | 评论(0)
Hadoop集群配置(最全面总结)  huangguisu       通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common...【阅读全文】
圣剑蓝骑士 | 2013-02-22 20:40:56 | 阅读(1720) | 评论(0)
could only be replicated to 0 nodes, instead of 1【阅读全文】
圣剑蓝骑士 | 2013-02-22 20:40:28 | 阅读(730) | 评论(0)
1 创建Map/Reduce 工程 File->new->project->Map/Reduce Project 2 创建类WordCount File->new->class 3 设置输入输出参数 Run->Run Configuration, Arguments 在program arguments中写入输入输出参数,即输入输出文件路径: hdfs://localhost:9000/user/leo/  hdfs://localhost:9000/user/out 4 run as java a【阅读全文】
圣剑蓝骑士 | 2013-02-22 20:39:57 | 阅读(740) | 评论(0)
Hadoop MapReduce HDFS 分布式并行编程【阅读全文】
【云计算】 强制关闭hadoop
qhw | 2013-02-05 21:15:55 | 阅读(1930) | 评论(0)
lihang4216137 | 2013-02-05 09:29:08 | 阅读(980) | 评论(0)
Hadoop入门:利用大数据分析能力    本规划指南为IT经理提供了重要信息和实施步骤,以帮助他们对大数据分析项目进行规划和实施,并着手开始使用Hadoop...更多<<【阅读全文】
Larpenteur | 2013-01-28 12:08:15 | 阅读(1170) | 评论(0)
mesos上部署hadoop【阅读全文】
liukaiyi | 2013-01-22 18:39:39 | 阅读(2610) | 评论(0)
Mapreduc 原始配置 :/etc/hadoop-0.20/conf.my_cluster/mapred-site.xml我们的配置注意修改的地方 : a)        S大写 <property><name>mapred.jobtracker.taskScheduler</name><value>org.apache.hadoop.mapred.FairScheduler</value></propert...【阅读全文】
樱木的追风者 | 2013-01-08 00:00:00 | 阅读(1576) | 评论(0)
Java接口读——hdfs 中读取文件(该程序文件在hadoop 0.20.0版本下使用)给准备读的文件指定一个path对象,用FileSystem类中的open()方法返回一个FSDataInputStream对象,然后从该数据流中读取数据。import java.net.URI;import java.io.*;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.conf.Con【阅读全文】
qhw | 2013-01-04 00:33:47 | 阅读(9555) | 评论(0)
解决的命令:bin/hadoop dfsadmin -safemode leave #关闭safe mode转自: http://shutiao2008.iteye.com/blog/318950 附 安全模式 学习:safemode模式dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。The ratio of reported blocks 1.0000 ha【阅读全文】
developinglife | 2012-12-29 22:58:40 | 阅读(6937) | 评论(0)
一、安装hadoop1 因为hadoop是基于java的,所以要保证hadoop能找到在本地系统中大路径,即正确设置java的环境变量。详细请看:linux 安装配置jdk2 到官网:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 下载hadoop,这里我选择hadoop1.0.43 解压到 /usr/localtar -xvf hadoop-1.0.4.tar.gz4 设置hadoop环境变量,为了使环境变量永久有效并对所有用户有效,我们将下面两句添加到/etc/profileexport HADOOP_HOME=/usr/local/【阅读全文】
developinglife | 2012-12-26 23:13:22 | 阅读(5920) | 评论(0)
1 创建Map/Reduce 工程 File->new->project->Map/Reduce Project 2 创建类WordCount File->new->class 3 设置输入输出参数 Run->Run Configuration, Arguments 在program arguments中写入输入输出参数,即输入输出文件路径: hdfs://localhost:9000/user/leo/  hdfs://localhost:9000/user/out 4 run as java a【阅读全文】
【云计算】 eclipse连接hadoop
developinglife | 2012-12-26 16:27:57 | 阅读(1769) | 评论(0)
之前使用hadoop-0.20.203.0,试了eclipse的几个版本:3.7,3.5,3.4,都连接不上hadoop,提示连接dfs时缺少主类:org.apache.commons.configuration。 按照有些博客写的将hadoop自带的eclipse插件进行了更改,添加了几个jar包,并修改了MANIFEST.MF,还是不行。 花了很多天,最终使用了新版本hadoop,eclipse最终连接成功。 具体环境是使用vmware安装:   ubuntu 11.04 hadoop 1.0.4 eclipse indigo3.7.2 for java devel【阅读全文】
wenkudaren | 2012-11-26 15:01:37 | 阅读(1203) | 评论(0)
Strata大会探讨了大数据、数据科学以及计算机给整个技术和商业带来的各种变化。作为第四届Hadoop World大会,本次大会深入到了大数据行业。【阅读全文】
lihang4216137 | 2012-11-23 10:19:11 | 阅读(1139) | 评论(0)
lihang4216137 | 2012-11-16 10:52:30 | 阅读(1173) | 评论(0)