搜索博文结果_ChinaUnix博客

ichenxiaohu | 2014-04-30 12:16:46 | 阅读(1200) | 评论(0)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】 Hadoop-2.4.0分布式安装手册

aquester | 2014-04-28 09:32:26 | 阅读(17080) | 评论(13)

Hadoop-2.4.0分布式安装手册.pdf目录目录11. 前言22. 部署22.1. 机器列表22.2. 主机名22.2.1. 临时修改主机名32.2.2. 永久修改主机名32.3. 免密码登录范围43. 约定43.1. 安装目录约定43.2. 服务端口约定5...【阅读全文】

【HADOOP】在Linux上编译Hadoop-2.4.0

北极熊和企鹅 | 2014-04-22 11:06:48 | 阅读(1540) | 评论(0)

Linux上编译Hadoop-2.pdfHadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的...【阅读全文】

【HADOOP】在Linux上编译Hadoop-2.4.0

Aquester | 2014-04-21 15:50:27 | 阅读(5480) | 评论(0)

Linux上编译Hadoop-2.pdfHadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3550) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】在amazon EC2上搭建hadoop搭建hbase

Larpenteur | 2014-04-18 08:30:56 | 阅读(870) | 评论(0)

一、amazon ec2 环境申请4台VPC(virtual private cloud)，在一个security group下，ubuntu 12.04.4。 1台m3.large，cpu 2.5GHz双核，7G内存，30G分区在/mnt 下，这台机器用来当NameNode。 3台m1.large，cpu 1.8GHz双核，7G内存，400G分区在/mnt 下，这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】

【HADOOP】在amazon EC2上搭建hadoop搭建hbase

niao5929 | 2014-04-17 13:21:59 | 阅读(660) | 评论(0)

一、amazon ec2 环境申请4台VPC(virtual private cloud)，在一个security group下，ubuntu 12.04.4。 1台m3.large，cpu 2.5GHz双核，7G内存，30G分区在/mnt 下，这台机器用来当NameNode。 3台m1.large，cpu 1.8GHz双核，7G内存，400G分区在/mnt 下，这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】

【HADOOP】在amazon EC2上搭建hadoop搭建hbase

laoliulaoliu | 2014-04-16 20:43:17 | 阅读(6160) | 评论(2)

一、amazon ec2 环境申请4台VPC(virtual private cloud)，在一个security group下，ubuntu 12.04.4。 1台m3.large，cpu 2.5GHz双核，7G内存，30G分区在/mnt 下，这台机器用来当NameNode。 3台m1.large，cpu 1.8GHz双核，7G内存，400G分区在/mnt 下，这3台机器用来当DataNode。二、编译打包hadoo...【阅读全文】

【HADOOP】 hadoop集群垃圾回收站

dsy851009 | 2014-04-15 10:22:03 | 阅读(3220) | 评论(0)

[root@master conf]# vim /etc/hadoop/conf/core-site.xml<property> <name>fs.trash.interval</name> <value>1440</value> <description>save one day(1440 min---60*24)</description> </property>注释：value值为保存时间，默认是0，单位...【阅读全文】

【HADOOP】怎么用java向hadoop中写数据

xyaxlz | 2014-03-24 16:15:57 | 阅读(3630) | 评论(0)

如果用eclipse 连接hadoop测试一定要把core-site.xml hdfs-site.xml 放到和包test同目录下不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】

【HADOOP】 Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制

lingshaohusoft | 2014-03-19 14:17:10 | 阅读(1940) | 评论(0)

读文件　　读文件时内部工作机制参看下图：客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），RPC（NameNode来得到此文件最开始几个datanode的，block的位置信息，这些信息所需的带宽是很少的，这样便有效的避免了单点...【阅读全文】

【HADOOP】 hadoop 在mac上伪分布配置

kubibo | 2014-03-07 03:59:49 | 阅读(730) | 评论(0)

转自果粉记 http://note4ios.com/?p=61在MAC上安装HadoopHadoop是进行大数据计算的有效工具，本文介绍如何在MAC上安装Hadoop，并配置伪分布式的环境。STEP1：新建系统用户虽然这不是必须的, 但出于安全的考虑，最好新建一个系统用户。添加用户如下：点击System Preferences or “...【阅读全文】

【HADOOP】 UBUNTU上HIVE的安装

joepayne | 2014-02-25 19:01:45 | 阅读(0) | 评论(0)

HIVE 安装【阅读全文】

【HADOOP】 Hadoop添加节点datanode

zzjlzx | 2013-11-28 15:21:41 | 阅读(1120) | 评论(0)

Hadoop添加节点datanode 浏览(2607)|评论(0) 交流分类：Java|笔记分类: hadoop 1.部署hadoop和普通的datanode一样。安装jdk，ssh2.修改host和普通的datanode一样。添加namenode的ip3.修改namenode的配置文件conf/slaves添加新增...【阅读全文】

【HADOOP】增加Hadoop datanode启动异常：UnregisteredDatanodeException datanode没全启动起来

zzjlzx | 2013-11-28 15:19:44 | 阅读(1160) | 评论(0)

Hadoop启动异常：UnregisteredDatanodeException datanode没全启动起来分类： hadoop2013-03-04 16:17 199人阅读评论(0) 收藏举报启动Hadoop集群测试HBase时候，发现三台DataNode只启动成功了两台，未启动成功的那一台日志中出现了下列异常：写...【阅读全文】

【HADOOP】 Ubuntu的网络配置

windhawkgyang | 2013-09-16 14:26:09 | 阅读(2750) | 评论(0)

今天需要单独配置一台新的Ubuntu服务器作为Hadoop集群的Master，一直使用动态IP，这回还特意去查了资料，很简单，记下来留作资料供以后忘记了查找吧。 Ubuntu的网络配置总的来说需要两步：配置接口属性、配置DNS，这里我们直接使用修改配置文件永久生效的方式来进行。一、配置接...【阅读全文】

【HADOOP】 hadoop 在hdfs中读写文件

yueys_canedy | 2013-09-09 17:13:19 | 阅读(6410) | 评论(0)

写文件： [java] view plaincopy //指定configuration Configuration config = new Configuration(); String time = String.valueOf(end-start); ...【阅读全文】

【HADOOP】 Hadoop安装手册1-基础扫盲及准备工作

houselong | 2013-08-08 09:39:37 | 阅读(390) | 评论(0)

如今的Hadoop不仅声名远扬，影响力在apache的开源项目中也占据着头把交椅，国内外已有非常的成功应用。就目前来说，我对Hadoop整个体系连个大概的了解都说不上，个人倒是老早就想深入学习这套体系，本地磁盘上的安装包更是早就下载好了，不过文件保存日期久远的我自己都不好意思看。　　值此新年伊始，欣喜地看到tigerfi...【阅读全文】

【HADOOP】 Hadoop安装手册2-Hadoop环境配置

houselong | 2013-08-08 09:39:22 | 阅读(400) | 评论(0)

2、Hadoop配置2.1 配置参数我们任选一个节点，比如说就hdnode1吧，使用grid用户登录，而后修改配置文件，详细如下。配置hadoop的基础环境变量，如JDK位置，hadoop一些配置、文件及日志的路径，这些配置都在hadoop-env.sh文件中：[grid@hdnode1 ~]$ vi /usr/local/hadoop-0.20.2/conf/hadoop-env.sh &n...【阅读全文】

【HADOOP】 Hadoop安装手册4-添加与删除Hadoop节点

houselong | 2013-08-08 09:39:00 | 阅读(480) | 评论(0)

3、HDFS添加节点现有环境如下：192.168.30.203 hdnode1192.168.30.204 hdnode2192.168.30.205 hdnode3其中hdnode1是namenode，hdnode2和hdnode3是datanode我们要新增加两个datanode：192.168.30.206 hdnode4192.168.30.207 hdnode5那...【阅读全文】