搜索博文结果_ChinaUnix博客

niao5929 | 2015-05-19 08:31:00 | 阅读(670) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

fengzhanhai | 2015-05-16 20:21:01 | 阅读(7430) | 评论(5)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】 HBase分布式数据库管理常用shell命令

fengzhanhai | 2015-04-21 13:10:15 | 阅读(4180) | 评论(2)

HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统，MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。【阅读全文】

【HADOOP】合理设计及优化HBase数据库表入门

fengzhanhai | 2015-04-21 11:33:03 | 阅读(3990) | 评论(0)

在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK，废话不再多说，接下来我们进入今天的正题吧~【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

visualj | 2015-04-18 22:03:52 | 阅读(1580) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(760) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

niao5929 | 2015-04-10 08:59:06 | 阅读(880) | 评论(0)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 Hadoop2.0之后的运维管理Shell命令抢鲜分享

fengzhanhai | 2015-04-09 12:03:46 | 阅读(5560) | 评论(2)

Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。【阅读全文】

【HADOOP】 redis日常管理

hxl | 2015-03-12 14:22:59 | 阅读(0) | 评论(0)

1.停止redissrc/redis-cli shutdown2.启动src/redis-server3.指定配置文件启动src/redis-server /soft/redis/redis.conf4.修改rdb文件路径dbfilename dump.rdbdir /yourpath【阅读全文】

【HADOOP】 Hadoop不适合处理实时数据的原因剖析

niao5929 | 2015-02-26 15:00:50 | 阅读(850) | 评论(0)

Hadoop不适合处理实时数据的原因剖析[日期：2015-02-25]来源：Linux社区作者：哥不是小萝莉[字体：大中小]1.概述　　　Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】 Hadoop中HDFS读取文件的原理剖析

niao5929 | 2015-02-19 16:50:26 | 阅读(480) | 评论(0)

Hadoop中HDFS读取文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既...【阅读全文】

【HADOOP】 Hadoop中HDFS写入文件的原理剖析

niao5929 | 2015-02-19 16:48:46 | 阅读(440) | 评论(0)

Hadoop中HDFS写入文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

9768p1 | 2014-11-26 20:24:04 | 阅读(2620) | 评论(0)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】 hbase表维护管理

hxl | 2014-11-05 17:18:58 | 阅读(0) | 评论(0)

1.修改表的VERSIONS建表的时候要是不指定VERSIONS的话,默认情况下该值为1,下面将VERSIONS修改大于等于2alter 'oss_user_label_action_data',{NAME=>'info','VERSIONS'=>2}【阅读全文】

【HADOOP】 hadoop日常管理

hxl | 2014-10-29 11:29:13 | 阅读(0) | 评论(0)

1.查看目录[hadoop1@node1 ]$ hadoop fs -ls . //跟目录[hadoop1@node1 ]$ hadoop fs -ls /user/hadoop1/input //具体某个目录【阅读全文】

【HADOOP】数据文件数据加载到hive表

hxl | 2014-10-28 17:36:13 | 阅读(33790) | 评论(0)

下面是一个本地数据文件加载到hive表中的例子1.在hxl数据库下创建表hive> create table tb_emp_info > (id int, > name string, > age int, > tel string) > ROW FORMAT DELIMITED > FIEL...【阅读全文】

【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法

dsy851009 | 2014-10-22 18:35:06 | 阅读(9840) | 评论(3)

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】

【HADOOP】基于hadoop的mapreduce理解初步

liuzan_abc | 2014-10-11 14:31:06 | 阅读(1130) | 评论(0)

mapreduce的缺陷 (1)只能做简单的统计计算，很多复杂的算法没法表达 (2)mr的过程中做了很多无效的排序,其他的计算模型获取可以省去这些无效的计算 (3)mr启动任务需要花费时间，对于一些小当量的计算,还不如拉回...【阅读全文】