搜索博文结果_ChinaUnix博客

【HADOOP】增加Hadoop datanode启动异常：UnregisteredDatanodeException datanode没全启动起来

zzjlzx | 2013-11-28 15:19:44 | 阅读(1160) | 评论(0)

Hadoop启动异常：UnregisteredDatanodeException datanode没全启动起来分类： hadoop2013-03-04 16:17 199人阅读评论(0) 收藏举报启动Hadoop集群测试HBase时候，发现三台DataNode只启动成功了两台，未启动成功的那一台日志中出现了下列异常：写...【阅读全文】

【HADOOP】 Hadoop初探之Hadoop生态圈

18612038520 | 2013-11-26 02:07:59 | 阅读(180) | 评论(0)

一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

Larpenteur | 2013-11-18 11:40:49 | 阅读(810) | 评论(0)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

niao5929 | 2013-11-17 20:59:28 | 阅读(480) | 评论(1)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

scq2099yt | 2013-11-16 13:49:28 | 阅读(4970) | 评论(1)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop如何实现关联计算

jiongtoast | 2013-11-05 08:39:29 | 阅读(770) | 评论(0)

hadoop如何实现关联计算。【阅读全文】

【HADOOP】 Hadoop初探之Hadoop生态圈

Larpenteur | 2013-11-03 06:35:08 | 阅读(990) | 评论(0)

一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】

【HADOOP】 Hadoop初探之Hadoop生态圈

bluecom | 2013-10-31 23:36:35 | 阅读(370) | 评论(0)

一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】

【HADOOP】 Hadoop初探之Hadoop生态圈

scq2099yt | 2013-10-30 23:18:44 | 阅读(40370) | 评论(1)

一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】

【HADOOP】 Hive的一些小技巧

jiongtoast | 2013-10-29 16:45:38 | 阅读(950) | 评论(0)

hive使用的一些小技巧，包括udf、笛卡尔积、join的规则和排序。【阅读全文】

【HADOOP】 Hive的安装配置

jiongtoast | 2013-10-25 13:16:49 | 阅读(600) | 评论(0)

hive的安装配置【阅读全文】

【HADOOP】一个.java文件是否一定要和文件中的类名相同呢？一个.java文件中可以包含多个类吗？

double_lq | 2013-10-17 10:05:45 | 阅读(1780) | 评论(0)

这可以算做是一个java笔试题回答这个问题，首先要回答第二问。一个.java文件当然可以包括多个类了。但这些类有一个特殊的类与其它的不同，,这个类是带public 属性的类。一个.java类文件中仅有一个public属性的类。而且这个类与文件名相同。一个.java文件是否一定要有一个public&...【阅读全文】

【HADOOP】在eclipse中查看JDK中jar文件的源代码

double_lq | 2013-10-16 20:36:17 | 阅读(3230) | 评论(0)

背景：下载了JDK1.7，其中包含对应的源代码src.zip假设我要查看public Document parse(InputStream is){}函数的源代码。该函数在JDK的rt.jar的包javax.xml.parsers下的DocumentBuilder.java中。怎样将该源文件与eclipse关联呢？一、将源码导入到eclipse中方法1、选择 rt.jar,右击选择properties；建立源代码目录&...【阅读全文】

【HADOOP】应该在什么时候使用Hadoop

jieforest | 2013-10-16 10:10:56 | 阅读(2780) | 评论(0)

有人问我，“你在大数据和Hadoop方面有多少经验？”我告诉他们，我一直在使用Hadoop，但是我处理的数据集很少有大于几个TB的。他们又问我，“你能使用Hadoop做简单的分组和统计吗？”我说当然可以，我只是告诉他们我需要看一些文件格式的例子。他们递给我一个包含600MB数据的闪盘，看起来这些数据并非样本数据，由于一...【阅读全文】

【HADOOP】认识的误区：Hadoop=云计算

jieforest | 2013-10-12 10:01:09 | 阅读(2810) | 评论(0)

最近看到清华大学出版社发行的一本新书，《深入浅出云计算》出版时间是2012-10-01日，如图1所示。我以为这是一本科普型读物，是加深读者对云计算的认识的书籍，毕竟云计算覆盖的领域太广了。泛读后发现完全不是这么回事。全书基本上都是在讲Hadoop以及Hadoop生态圈里面的相关工具和技术。如图2所示：我由此联想到前...【阅读全文】

【HADOOP】 Hadoop不是万能的

coolcole | 2013-10-03 20:55:04 | 阅读(1030) | 评论(0)

From：http://www.programmer.com.cn/10416/ 2011年，对Hadoop来说注定是载入史册的一年：Yahoo!与风险投资公司Benchmark Capital联合建立独立公司Hortonworks，接手Yahoo!开源软件平台Apache Hadoop；Hadoop海量数据分析平台Datameer、Karmasphere和Hadapt分别获得千万美元级别投资；一向对开源趋势不屑一顾的微软转投Hadoop怀抱；Hadoop之父Doug Cutting第一次莅临中国，布道Hadoop 0.23…… 可以说，Hadoop生态系统呈【阅读全文】

【HADOOP】 Ubuntu的网络配置

windhawkgyang | 2013-09-16 14:26:09 | 阅读(2750) | 评论(0)

今天需要单独配置一台新的Ubuntu服务器作为Hadoop集群的Master，一直使用动态IP，这回还特意去查了资料，很简单，记下来留作资料供以后忘记了查找吧。 Ubuntu的网络配置总的来说需要两步：配置接口属性、配置DNS，这里我们直接使用修改配置文件永久生效的方式来进行。一、配置接...【阅读全文】

【HADOOP】 mapreduce理解--（转载自heipark的日志）

dsy851009 | 2013-09-02 13:59:23 | 阅读(2140) | 评论(0)

linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008 查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合）再来一个例子，关于SQL：select * from device&nb...【阅读全文】

【HADOOP】部署Hadoop集群的步骤

Larpenteur | 2013-08-12 23:47:27 | 阅读(510) | 评论(0)

Hadoop集群的部署方法简介，以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】

【HADOOP】部署Hadoop集群的步骤

houselong | 2013-08-12 11:14:20 | 阅读(380) | 评论(0)

Hadoop集群的部署方法简介，以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】