搜索博文结果_ChinaUnix博客

【HADOOP】在Linux上编译Hadoop-2.4.0

Aquester | 2014-04-21 15:50:27 | 阅读(5470) | 评论(0)

Linux上编译Hadoop-2.pdfHadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的...【阅读全文】

【HADOOP】单机环境下Hive安装使用及与HBase整合

niao5929 | 2014-04-21 10:36:29 | 阅读(730) | 评论(0)

一、Hive下载安装先从网址http://apache.cs.utah.edu/hive/下载一个最新版本，我下载的是hive-0.12.0.tar.gz，推荐将此版本解压到Hadoop安装目录下：tar -zxvf hive-0.12.0.tar.gzcd /home/hadoop/hive-0.12.0首先仍然是配置一下环境变量，打开/etc/profile文件，加入如下配置： HIVE_HOME=/home/hadoop/hive-0.1...【阅读全文】

【HADOOP】单机环境下Hive安装使用及与HBase整合

peonyding | 2014-04-20 14:14:54 | 阅读(3510) | 评论(0)

一、Hive下载安装先从网址http://apache.cs.utah.edu/hive/下载一个最新版本，我下载的是hive-0.12.0.tar.gz，推荐将此版本解压到Hadoop安装目录下：tar -zxvf hive-0.12.0.tar.gzcd /home/hadoop/hive-0.12.0首先仍然是配置一下环境变量，打开/etc/profile文件，加入如下配置： HIVE_HOME=/home/hadoop/hive-0.1...【阅读全文】

【HADOOP】看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

Aquester | 2014-04-19 11:33:41 | 阅读(3130) | 评论(0)

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3540) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】在amazon EC2上搭建hadoop搭建hbase

Larpenteur | 2014-04-18 08:30:56 | 阅读(860) | 评论(0)

一、amazon ec2 环境申请4台VPC(virtual private cloud)，在一个security group下，ubuntu 12.04.4。 1台m3.large，cpu 2.5GHz双核，7G内存，30G分区在/mnt 下，这台机器用来当NameNode。 3台m1.large，cpu 1.8GHz双核，7G内存，400G分区在/mnt 下，这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】

【HADOOP】在amazon EC2上搭建hadoop搭建hbase

niao5929 | 2014-04-17 13:21:59 | 阅读(660) | 评论(0)

一、amazon ec2 环境申请4台VPC(virtual private cloud)，在一个security group下，ubuntu 12.04.4。 1台m3.large，cpu 2.5GHz双核，7G内存，30G分区在/mnt 下，这台机器用来当NameNode。 3台m1.large，cpu 1.8GHz双核，7G内存，400G分区在/mnt 下，这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】

【HADOOP】在amazon EC2上搭建hadoop搭建hbase

laoliulaoliu | 2014-04-16 20:43:17 | 阅读(6160) | 评论(2)

一、amazon ec2 环境申请4台VPC(virtual private cloud)，在一个security group下，ubuntu 12.04.4。 1台m3.large，cpu 2.5GHz双核，7G内存，30G分区在/mnt 下，这台机器用来当NameNode。 3台m1.large，cpu 1.8GHz双核，7G内存，400G分区在/mnt 下，这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】

【HADOOP】 Hadoop单机环境搭建

peonyding | 2014-03-29 17:30:07 | 阅读(2090) | 评论(0)

一、创建Hadoop用户 sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop但是，所创建的用户还不具备admin权限，所以需要赋予admin权限。 sudo gedit /etc/sudoers# Members of the admin group may gain root privileges%admin ALL=(ALL) ALLhadoop ALL=(ALL) ALL这样，就...【阅读全文】

【HADOOP】 Hadoop分布式文件系统（HDFS）

lingshaohusoft | 2014-03-19 14:27:27 | 阅读(2280) | 评论(0)

Hadoop是一个基于JAVA的支持数据密集型分布式应用的分布式文件系统。它能够保证应用可以在上千个低成本商用硬件存储结点上处理PB级的数据。Hadoop是Apache开源项目，Yahoo支持这个项目并在自己的web搜索和商业广告业务上使用它。Hadoop开发类似于Google的MapReduce和Google文件系统的技术。图 5.9为Hadoop的整体结构。...【阅读全文】

【HADOOP】 hadoop 在mac上伪分布配置

kubibo | 2014-03-07 03:59:49 | 阅读(730) | 评论(0)

转自果粉记 http://note4ios.com/?p=61在MAC上安装HadoopHadoop是进行大数据计算的有效工具，本文介绍如何在MAC上安装Hadoop，并配置伪分布式的环境。STEP1：新建系统用户虽然这不是必须的, 但出于安全的考虑，最好新建一个系统用户。添加用户如下：点击System Preferences or “...【阅读全文】

【HADOOP】 UBUNTU上HIVE的安装

joepayne | 2014-02-25 19:01:45 | 阅读(0) | 评论(0)

HIVE 安装【阅读全文】

【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？

zzjlzx | 2014-02-18 17:19:31 | 阅读(910) | 评论(0)

Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】

【HADOOP】 hadoop2.3.0单点伪分布与多点分布的配置

LaoLiulaoliu | 2014-01-07 00:49:35 | 阅读(2210) | 评论(4)

我的机器是mac book，安装virtualbox4.3.6，virtualbox安装ubunt13.10，在多点分布环境中，配置好一个机器后，clone出另外2个，一共三台机器。1. Configure the Environmentsudo apt-get install -y openjdk-7-jdk openssh-serversudo addgroup hadoopsudo adduser —ingroup hadoop hadoop # create passwordsu - had...【阅读全文】

【HADOOP】 hadoop系统的端口

LaoLiulaoliu | 2014-01-05 23:13:10 | 阅读(1120) | 评论(0)

周海汉 /文2012.9.13本文地址：http://abloz.com/2012/09/13/the-hadoop-system-of-port.htmlhadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1....【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

Larpenteur | 2013-11-18 11:40:49 | 阅读(810) | 评论(0)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

niao5929 | 2013-11-17 20:59:28 | 阅读(480) | 评论(1)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop初探之HDFS系统架构

scq2099yt | 2013-11-16 13:49:28 | 阅读(4970) | 评论(1)

一、适应场景 HDFS是Hadoop的分布式文件系统，即Hadoop Distributed Filesystem。 HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。这句话信息量太大，分解开来就是HDFS适合如下场景： ...【阅读全文】

【HADOOP】 Hadoop如何实现关联计算

jiongtoast | 2013-11-05 08:39:29 | 阅读(770) | 评论(0)

hadoop如何实现关联计算。【阅读全文】

【HADOOP】 Ubuntu的网络配置

windhawkgyang | 2013-09-16 14:26:09 | 阅读(2750) | 评论(0)

今天需要单独配置一台新的Ubuntu服务器作为Hadoop集群的Master，一直使用动态IP，这回还特意去查了资料，很简单，记下来留作资料供以后忘记了查找吧。 Ubuntu的网络配置总的来说需要两步：配置接口属性、配置DNS，这里我们直接使用修改配置文件永久生效的方式来进行。一、配置接...【阅读全文】