按类别查询搜索结果
关于关键词 的检测结果,共 1134
zzz138478 | 2013-05-02 15:46:24 | 阅读(1150) | 评论(0)
Hadoop数据处理平台的用户现在有两个更多的搜索引擎,以帮助他们通过他们的海量信息。Hadoop的分销商MAPR集成了LucidWorks的的搜索到自己的分销。和Cloudera Hadoop的推出了其开源黑斑羚SQL搜索引擎的第一个完整版。[安德鲁C.奥利弗回答了这个问题,每个人的心中:我应该使用哪种再用数据库?跟上InfoWorld的企业数据...【阅读全文】
Larpenteur | 2013-04-28 06:23:23 | 阅读(880) | 评论(0)
fanshuliuxin | 2013-04-24 18:55:06 | 阅读(520) | 评论(0)
qhw | 2013-04-23 14:36:32 | 阅读(37560) | 评论(2)
五岳之巅 | 2013-04-22 16:52:46 | 阅读(5800) | 评论(0)
白皮书业内最可靠的Hadoop平台Apache Hadoop的MapR发行版——简单、可靠、快速的Hadoop内容目录概述战略性的Hadoop完整、先进、拥有强力支持的Hadoop发行版易用的Hadoop从批处理转向实时数据流内建数据压缩机制多集群支持筹划、搭建和...【阅读全文】
utm168 | 2013-04-22 10:40:16 | 阅读(1620) | 评论(0)
生产环境:3台机器:master(192.168.0.61),slave1(192.168.0.62),slave2(192.168.0.63) 注意:hostname设置为master/slave1/slave2操作系统:rhel5.4 x86_64master做为namenonde,将slave1和slave2做为datanode1.在master:(在slave1和slave2上操作和以下相同) vi /etc/hosts 192.168.0.61 master 192.168.0....【阅读全文】
【服务器与存储】 漫谈Hadoop HDFS Balancer
niao5929 | 2013-04-22 08:52:06 | 阅读(690) | 评论(0)
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡是非常重要的。在Hadoop中,包...【阅读全文】
【服务器与存储】 漫谈Hadoop HDFS Balancer
le4rnin9 | 2013-04-20 16:37:50 | 阅读(8760) | 评论(2)
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡是非常重要的。在Hadoop中,包...【阅读全文】
【HADOOP】 Hadoop
dzy13501 | 2013-04-19 09:33:08 | 阅读(110) | 评论(0)
    一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而...【阅读全文】
【HADOOP】 hadoop学习
樱木的追风者 | 2013-04-15 09:33:41 | 阅读(1370) | 评论(0)
Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之...【阅读全文】
Larpenteur | 2013-04-14 11:48:40 | 阅读(590) | 评论(0)
4、代码开发和调试示例前面部署HADOOP时曾经测试过wordcount程序,这样我们在Eclipse也调试这一功能。HADOOP提供了这些示例的源代码,大家可以在HADOOP安装文件根路径下的examples目录下,比如WordCount位于:examples/org/apache/hadoop/examples/WordCount.java我们新建一个java文件,右键选中项目名称,点击Ne...【阅读全文】
junsansi | 2013-04-11 17:01:14 | 阅读(3720) | 评论(0)
5、配置javadocIDE工具之所以易用,就是辅助功能做的好。在开发代码时,能够减化操作,或者提供帮助。比如javadoc功能,方便我们快速查询方法相关描述、示例等帮助信息,那么对于新引入的HADOOP相关包有没有javadoc支持呢?回答是肯定的,HADOOP软件包中就带有这些内容,位于HADOOP软件根路径的docs目录下。若要...【阅读全文】
junsansi | 2013-04-11 16:59:52 | 阅读(11950) | 评论(1)
4、代码开发和调试示例前面部署HADOOP时曾经测试过wordcount程序,这样我们在Eclipse也调试这一功能。HADOOP提供了这些示例的源代码,大家可以在HADOOP安装文件根路径下的examples目录下,比如WordCount位于:examples/org/apache/hadoop/examples/WordCount.java我们新建一个java文件,右键选中项目名称,点击Ne...【阅读全文】
junsansi | 2013-04-11 16:56:33 | 阅读(3550) | 评论(0)
2、配置Eclipse开发环境第一次进入Eclipse会提示你选择一个工作区,这个路径下将会做为工程文件的默认保存路径(保存或创建工程时也可以另外自定义,并且后期也可以进行修改),这里三思将其定义到/data/developer/workspace目录下。点击菜单:Window -> Open Perspective -> Other,选中...【阅读全文】
junsansi | 2013-04-11 16:43:57 | 阅读(2110) | 评论(0)
3、HDFS添加节点现有环境如下:192.168.30.203 hdnode1192.168.30.204 hdnode2192.168.30.205 hdnode3其中hdnode1是namenode,hdnode2和hdnode3是datanode我们要新增加两个datanode:192.168.30.206 hdnode4192.168.30.207 hdnode5那...【阅读全文】
junsansi | 2013-04-11 16:43:20 | 阅读(2740) | 评论(0)
2.2 启动服务前面各节点参数配置好之后,接下来要先对namenode进行格式化,这个操作仍是在hdnode1节点上执行:[grid@hdnode1 ~]$ hadoop namenode -format13/01/30 10:14:36 INFO namenode.NameNode: STARTUP_MSG:  /*********************************************************...【阅读全文】
junsansi | 2013-04-11 16:42:32 | 阅读(2280) | 评论(0)
2、Hadoop配置2.1 配置参数我们任选一个节点,比如说就hdnode1吧,使用grid用户登录,而后修改配置文件,详细如下。配置hadoop的基础环境变量,如JDK位置,hadoop一些配置、文件及日志的路径,这些配置都在hadoop-env.sh文件中:[grid@hdnode1 ~]$ vi /usr/local/hadoop-0.20.2/conf/hadoop-env.sh &n...【阅读全文】
slp195 | 2013-04-08 11:59:11 | 阅读(11430) | 评论(0)
Hadoop 数据分析 例子【阅读全文】
圣剑蓝骑士 | 2013-04-06 20:42:38 | 阅读(2690) | 评论(0)
由于datanode比较多,且各个datanode之间的namespace id一般不会错,所以一般来说,是修改namonode上面的namespace id。先查看某个datanode下面的namenode id 信息,比如我的默认fs路径是/hadoop,那么就到datanode下面/hadoop/dfs/data/current/下面查看VERSION文件,内容如下:#Tue Jul 31 17:31:22 JST 2012namespa...【阅读全文】
圣剑蓝骑士 | 2013-04-06 20:34:57 | 阅读(2620) | 评论(0)
hadoop datanode启动不起来转自:http://book.51cto.com/art/201110/298602.htm如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及...【阅读全文】