搜索博文结果_ChinaUnix博客

kubibo | 2014-03-07 03:59:49 | 阅读(730) | 评论(0)

转自果粉记 http://note4ios.com/?p=61在MAC上安装HadoopHadoop是进行大数据计算的有效工具，本文介绍如何在MAC上安装Hadoop，并配置伪分布式的环境。STEP1：新建系统用户虽然这不是必须的, 但出于安全的考虑，最好新建一个系统用户。添加用户如下：点击System Preferences or “...【阅读全文】

【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？

zzjlzx | 2014-02-18 17:19:31 | 阅读(910) | 评论(0)

Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】

【HADOOP】 MapReduce初探之使用Hadoop分析数据

Larpenteur | 2014-02-09 10:32:35 | 阅读(1180) | 评论(0)

MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】

【HADOOP】 MapReduce初探之使用Hadoop分析数据

scq2099yt | 2014-02-04 22:28:09 | 阅读(6640) | 评论(1)

MapReduce是一种可用于数据处理的编程模型，Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此，可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集，这里以一个气象数据集分析为例说明之，查...【阅读全文】

【HADOOP】 Hadoop的分布式架构改进与应用

LaoLiulaoliu | 2014-01-09 10:33:40 | 阅读(670) | 评论(0)

文章来源：http://blog.csdn.net/pelick/article/details/76194931. 背景介绍谈到分布式系统，就不得不提到Google的三驾马车:GFS[1],MapReduce[2]和BigTable[3]。虽然Google没有开源这三个技术的实现源码，但是基于这三篇开源文档, Nutch项目子项目之一的Yahoo资助的Had...【阅读全文】

【HADOOP】 hadoop2.3.0单点伪分布与多点分布的配置

LaoLiulaoliu | 2014-01-07 00:49:35 | 阅读(2200) | 评论(4)

我的机器是mac book，安装virtualbox4.3.6，virtualbox安装ubunt13.10，在多点分布环境中，配置好一个机器后，clone出另外2个，一共三台机器。1. Configure the Environmentsudo apt-get install -y openjdk-7-jdk openssh-serversudo addgroup hadoopsudo adduser —ingroup hadoop hadoop # create passwordsu - had...【阅读全文】

【HADOOP】 Hadoop五分钟入门指南

jieforest | 2013-12-11 22:20:15 | 阅读(3100) | 评论(0)

《Hadoop五分钟入门指南》原文见：http://blog.josedacruz.com/2013/12/09/hadoop-in-5-minutes-for-beginners/#.Uqhs3_Q6Cjt如果你有大量的数据（TB级），而且这些数据到处分散，且有些数据是结构化的，有些数据不是。你想查询这些数据，你或许在想，“我需要力量来组织和查询这些数据”。是的，你需要Hadoop。一、...【阅读全文】

【HADOOP】 Hadoop实战-初级部分之 Shell

sufeizi | 2013-12-11 11:39:55 | 阅读(600) | 评论(0)

第一部分：Hadoop Bin后面根据项目的实际需要Hadoop Bin 包括:Hadoop hadoop的Shellhadoop-config.sh 它的作用是对一些变量进行赋值 HADOOP_HOME（hadoop的安装目录）。 HADOOP_CONF_DIR（hadoop的配置...【阅读全文】

【HADOOP】 Hadoop实战-初级部分之 HDFS API

sufeizi | 2013-12-11 11:37:34 | 阅读(270) | 评论(0)

私塾在线《深入浅出学 Hadoop- 初级部分》 —— 系列精品教程视频课程地址》》》 http://sishuok.com/product/481整体课程概览第一部分：开始云计算之旅第二部分：初识H...【阅读全文】

【HADOOP】基于Hadoop平台做大数据的几种应用

jiongtoast | 2013-12-06 11:04:12 | 阅读(1160) | 评论(0)

1、自己写MapReduce任务，虽然开发难度大一点，但运行效率比Pig和Hive高，像Google的PageRank排名，机器学习、推荐，全盘扫描的ETL都是这种方式的典型应用；2、用Hive做分析，Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写，但某些运算效率不及M/R；3、用Pig做数据分析，Pig是Yahoo的研发成果，yahoo也希望...【阅读全文】

【HADOOP】查看HADOOP中一个文件有多少块组成及所在机器ip

zzjlzx | 2013-11-29 14:50:29 | 阅读(4530) | 评论(0)

看文件信息hadoop fsck /user/filename更详细的。 -racks 是显示机架位置hadoop fsck /user/filename -files -blocks -locations -racks -files 文件分块信息，-blocks 在带-files参数后才显示block信息-locations 在带-blocks参数后才显示block块所在datanode的具...【阅读全文】

【HADOOP】 hadoop 各类key value分隔符参数

zzjlzx | 2013-11-29 11:43:20 | 阅读(1460) | 评论(0)

hadoop 各类key value分隔符参数分类： hadoop 收藏 2012-04-15 21:40 438人阅读评论(0) 收藏举报hadoopcoutputinput原文地址：http://wingmzy.iteye.com/blog/1260570hadoop中的map-reduce是处理<key,value>这样的键值对，故指定<key,value>的分割符等参数可以分成三类：map输出时分割符分桶时的分隔...【阅读全文】

【HADOOP】 hive大数据除重问题研究

冻豆腐132 | 2013-11-06 09:11:31 | 阅读(500) | 评论(0)

hive大数据除重问题研究存量表： store增量表: incre 字段：1. p_key 除重主键2. w_sort 排序依据3. info 其他信息 ?12...【阅读全文】

【HADOOP】 Hive的一些小技巧

jiongtoast | 2013-10-29 16:45:38 | 阅读(950) | 评论(0)

hive使用的一些小技巧，包括udf、笛卡尔积、join的规则和排序。【阅读全文】

【HADOOP】 Zookeeper分布式集群部署

Benquike | 2013-10-24 13:43:29 | 阅读(860) | 评论(0)

部署完成Hadoop/Hbase集群之后，开始测试Sleuthkit，结果发现tpkickoff.sh运行时不断提醒zookeeper的连接错误：Session 0x0 for server。网上大部分的资料说问题出在DNS的解析上，需要去修改/etc/hosts文件，但是之前部署分布式的时候这个文件就已经设置好了，所以问题应该不是在这里。于是考虑这个奇...【阅读全文】

【HADOOP】 Zookeeper分布式集群部署

Larpenteur | 2013-10-24 11:47:52 | 阅读(410) | 评论(0)

部署完成Hadoop/Hbase集群之后，开始测试Sleuthkit，结果发现tpkickoff.sh运行时不断提醒zookeeper的连接错误：Session 0x0 for server。网上大部分的资料说问题出在DNS的解析上，需要去修改/etc/hosts文件，但是之前部署分布式的时候这个文件就已经设置好了，所以问题应该不是在这里。于是考虑这个奇...【阅读全文】

【HADOOP】 Zookeeper分布式集群部署

windhawkgyang | 2013-10-22 15:11:32 | 阅读(31750) | 评论(0)

部署完成Hadoop/Hbase集群之后，开始测试Sleuthkit，结果发现tpkickoff.sh运行时不断提醒zookeeper的连接错误：Session 0x0 for server。网上大部分的资料说问题出在DNS的解析上，需要去修改/etc/hosts文件，但是之前部署分布式的时候这个文件就已经设置好了，所以问题应该不是在这里。于是考虑这个奇...【阅读全文】

【HADOOP】 Hadoop与Hbase分布式配置

niao5929 | 2013-10-18 09:28:31 | 阅读(700) | 评论(0)

在单机上部署好hadoop与hbase之后，现在终于要开始在集群上来部署了。一路配置下来，个人觉得其实分布式配置与单机配置差不多，但是修改了配置文件中的一些参数适应分布式。当然这只是简单地配置部署，如果真的要作为一个实际系统来使用，考虑性能稳定性等其他因素的时候当然就没有这么简单了，但是今...【阅读全文】

【HADOOP】一个.java文件是否一定要和文件中的类名相同呢？一个.java文件中可以包含多个类吗？

double_lq | 2013-10-17 10:05:45 | 阅读(1780) | 评论(0)

这可以算做是一个java笔试题回答这个问题，首先要回答第二问。一个.java文件当然可以包括多个类了。但这些类有一个特殊的类与其它的不同，,这个类是带public 属性的类。一个.java类文件中仅有一个public属性的类。而且这个类与文件名相同。一个.java文件是否一定要有一个public&...【阅读全文】

【HADOOP】 Hadoop与Hbase分布式配置

Larpenteur | 2013-10-17 08:59:32 | 阅读(750) | 评论(0)

在单机上部署好hadoop与hbase之后，现在终于要开始在集群上来部署了。一路配置下来，个人觉得其实分布式配置与单机配置差不多，但是修改了配置文件中的一些参数适应分布式。当然这只是简单地配置部署，如果真的要作为一个实际系统来使用，考虑性能稳定性等其他因素的时候当然就没有这么简单了，但是今...【阅读全文】