搜索博文结果_ChinaUnix博客

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(670) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 hadoop中控制map的个数

levy-linux | 2015-09-06 14:04:14 | 阅读(1080) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来看几个名词： block_size : hdfs的文件块...【阅读全文】

【HADOOP】大数据时代的技术【一】Hive

xuemling | 2015-08-24 15:27:25 | 阅读(1360) | 评论(0)

大数据时代的技术之Hive介绍，hive的简单介绍【阅读全文】

【HADOOP】 Hadoop 2.7 单机伪分布模式

安浪天 | 2015-08-11 15:07:20 | 阅读(990) | 评论(0)

说明：系统为centos6.5、jdk版本为1.7、Hadoop版本为2.7.红色字体为输入内容，紫色字体为路径及注意 一、jdk安装 1、安装jdk1.7     rpm -ivh jdk-7u79-linux-x64.rpm <div>2、配置环境变量    在/etc/profile文...【阅读全文】

【HADOOP】 windows下安装hadoop伪分布式遇到问题汇总

dsy851009 | 2015-08-08 21:48:36 | 阅读(3140) | 评论(0)

本来想着很简单的一个安装，结果花费了一天时间才搞定，中间遇到很多问题，最终安装成功，记录下。
安装步骤简单说下(网上有很多安装详细步骤，这里不详细说明，主要是中间的问题解决)：
一、安装jdk1.7，配置环境变量；
二、下载cygwin并安装，记得记得选择openssh包的安装；
三、配置ssh；【阅读全文】

【HADOOP】中小规模Hadoop集群优化

levy-linux | 2015-08-06 18:12:31 | 阅读(1590) | 评论(0)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。 1. 网络带宽 Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。 但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

dirk2014 | 2015-08-06 13:22:00 | 阅读(480) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Spark 中算子功能与分类介绍

OowarrioroO | 2015-07-22 17:01:18 | 阅读(2670) | 评论(0)

Spark 中算子功能与分类介绍 value型算子 Key-Value算子【阅读全文】

【HADOOP】 hadoop 分布式部署简单搭建

plumxx99 | 2015-07-17 21:18:10 | 阅读(2690) | 评论(0)

实验环境:
rhel6.3 selinux and iptables disabled, sshd enabled
主机：192.168.122.5     master
            192.168.122.6     slave
        &nbs...【阅读全文】

【HADOOP】 hadoop伪分布式安装部署

CuteB | 2015-07-06 19:45:46 | 阅读(1320) | 评论(0)

<img src="/attachment/201507/6/30328933_1436181178ruxf.jpg" width="700" height="412.182741117" alt="" /> 1.关闭防火墙： service iptables stop vim /etc/sysconfig/selinux 设置SELINUX=disabled 2.设置静态ip地址： vim /etc/sysconfig/neywork -scripts/ifcfg-eth0 3.修改ho...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 22:50:51 | 阅读(2400) | 评论(0)

1.what is apache hadoop? 谁说大象不能跳舞？ 轻松应对海量数据存储与分析带来的挑战 2.海量数据： 量：大，数目多，数据量达到PB，ZB级别，条目数达到几十亿条，几百亿条 1）存储：分布式，集群的概念进行存储管理（主节点、从节点），HDFS（hadoop distribute file system） ...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 21:30:03 | 阅读(1730) | 评论(0)

1.hadoop生成环境都是在linux环境下，hadoop 2.x开始支持win环境。掌握linux环境，熟悉基本命令和linux环境的基本配置。 2.vmware虚拟机环境的搭建 3.使用的是Centos 6.4    redhat 6.x 64位     。 4.linux系统环境的基本配置，配置ip地址，配置主机名，关闭防火墙等。 5.远...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

douyaqiang123 | 2015-06-30 16:41:29 | 阅读(1770) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1830) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 HBase分布式数据库管理常用shell命令

douyaqiang123 | 2015-06-30 16:39:05 | 阅读(1980) | 评论(0)

HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统，MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

GiserHu | 2015-06-29 20:35:53 | 阅读(570) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

典雅的土地雷 | 2015-06-22 01:59:22 | 阅读(970) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

Larpenteur | 2015-06-04 06:21:43 | 阅读(1520) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大型开源分布式监控工具Chukwa配置部署实践

fengzhanhai | 2015-05-27 11:58:10 | 阅读(4170) | 评论(0)

Chukwa是Yahoo开发的一个开源的用于监控大型分布式系统的数据收集系统。它构建在hadoop的hdfs map/reduce框架之上，继承了hadoop的可伸缩性和鲁棒性。Chukwa还包含了一个强大和灵活的工具集，可用于展示、监控和分析已收集的数据。当我们在管理和维护超过100个节点的集群时如何实时有效、轻松的监控各个集群节点的健康状况及自身的相关信息呢？而Chukwa为我们提供了一种简单可行的方案。【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

胡辣tang | 2015-05-21 16:19:54 | 阅读(420) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】