搜索博文结果_ChinaUnix博客

niao5929 | 2015-05-19 08:31:00 | 阅读(670) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

fengzhanhai | 2015-05-16 20:21:01 | 阅读(7430) | 评论(5)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】 Solr部署配置（二）中文分词设置 ?

超人学院1 | 2015-05-12 17:35:35 | 阅读(460) | 评论(0)

一、IKAnalyzer1、把IKAnalyzer4.0.jar,IKAnalyzer.cfg,stopword.dic放到solr目录下的lib中2、schema.xml文件中添加 <fieldType name="text_ik" class="solr.TextField" > <analyzer class="org.wltea.analyzer.lucene.IKAn...【阅读全文】

【HADOOP】 Hadoop 源代码分析（二八）NameNode - ClientProtocol

超人学院1 | 2015-05-12 17:18:46 | 阅读(600) | 评论(0)

万事俱备，我们可以来分析NameNode 上的流程啦。首先我们来看NameNode 上实现的ClientProtocol，客户端通过这个接口，可以对目录树进行操作，打开/关闭文件等。getBlockLocations 用于确定文件内容的位置，它的输入参数为：文件名，偏移量，长度，返回值是一个LocatedBlocks 对象（如下图），它...【阅读全文】

【HADOOP】 Hadoop 源代码分析（一九）INode*

超人学院1 | 2015-05-12 17:16:43 | 阅读(640) | 评论(0)

我们先分析INode*.java，类INode*抽象了文件层次结构。如果我们对文件系统进行面向对象的抽象，一定会得到和下面一样类似的结构图（类INode*）： INode 是一个抽象类，它的两个字类，分别对应着目录（INodeDirectory）和文件（INodeFile）。INodeDirectoryWithQuota，如它的名字隐含的，是带了容量限制的目录。I...【阅读全文】

【HADOOP】 hadoop安装的时候，提前确认hadoop版本是32位还是64位。

levy-linux | 2015-05-12 11:08:15 | 阅读(3570) | 评论(0)

hadoop在安装的时候，需要知道hadoop版本是32位还是64位。hadoop官网原来提供的都是32位，因为我们大部分服务器都是64位，所以不得不重新编译。后来官网从hadoop2.5版本开始就提供了64位。我们来从官网下载的hadoop2.4.1安装包.hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命...【阅读全文】

【HADOOP】 Hadoop 源代码分析（一七）DataNode

超人学院1 | 2015-05-11 17:35:17 | 阅读(490) | 评论(0)

周围的障碍扫清以后，我们可以开始分析类DataNode。类图如下： publipublic class DataNode extends Configuredimplements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable上面给出了DataNode 的继承关系，我们发现，DataNode 实现了两个通信接口，其中ClientDatanodeProt...【阅读全文】

【HADOOP】 Hadoop 源代码分析（六）RPC-Client

超人学院1 | 2015-05-08 14:50:29 | 阅读(560) | 评论(0)

既然是RPC，自然就有客户端和服务器，当然，org.apache.hadoop.rpc 也就有了类Client 和类Server。在这里我们来仔细考察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client 中的关键类和关键方法。由于Client 可能和多个Server 通信，典型的一次HDFS 读，需要和NameNode 打交道，也需要和某个/某...【阅读全文】

【HADOOP】 HBase分布式数据库管理常用shell命令

fengzhanhai | 2015-04-21 13:10:15 | 阅读(4180) | 评论(2)

HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统，MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。【阅读全文】

【HADOOP】如何快速搭建HBase分布式NoSQL数据库

fengzhanhai | 2015-04-20 14:32:52 | 阅读(3900) | 评论(0)

博主在安装HBase1.0的过程中参考了很多网上的资料进行配置安装，得到的一个结论就是太坑嗲了，按照我看到的所有安装部署文档都走了一遍都存在这样或者那样的问题，最后浪费了大把的时间也没有搞定。建议后来者在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建（注释：以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置，若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作）。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

qidunhu | 2015-04-19 00:03:21 | 阅读(1890) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

visualj | 2015-04-18 22:03:52 | 阅读(1580) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

visualj | 2015-04-18 21:59:25 | 阅读(2180) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(760) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

godymoon | 2015-04-10 16:25:53 | 阅读(1210) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

lodestar7777 | 2015-04-10 15:25:33 | 阅读(320) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

niao5929 | 2015-04-10 09:00:45 | 阅读(730) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

niao5929 | 2015-04-10 08:59:06 | 阅读(880) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

fengzhanhai | 2015-04-09 12:03:46 | 阅读(5570) | 评论(2)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

fengzhanhai | 2015-04-08 17:32:36 | 阅读(9050) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】