搜索博文结果_ChinaUnix博客

simiaoxiaoseng | 2015-12-25 09:16:39 | 阅读(1570) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

simiaoxiaoseng | 2015-12-25 09:16:38 | 阅读(1300) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

simiaoxiaoseng | 2015-12-25 09:16:38 | 阅读(1440) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

simiaoxiaoseng | 2015-12-25 09:16:33 | 阅读(1200) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

simiaoxiaoseng | 2015-12-25 09:16:28 | 阅读(1160) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

Aquester | 2015-11-13 11:00:39 | 阅读(3810) | 评论(0)

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1...【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2880) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的

levy-linux | 2015-10-15 19:33:23 | 阅读(2060) | 评论(0)

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核共8核

namenode
mem：192G
cup：2cpu 26** 4核共8核

datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(770) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(710) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(710) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

北极熊和企鹅 | 2015-09-09 10:46:53 | 阅读(680) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Hadoop 2.7 单机伪分布模式

安浪天 | 2015-08-11 15:07:20 | 阅读(1000) | 评论(0)

说明：系统为centos6.5、jdk版本为1.7、Hadoop版本为2.7.红色字体为输入内容，紫色字体为路径及注意 一、jdk安装 1、安装jdk1.7     rpm -ivh jdk-7u79-linux-x64.rpm <div>2、配置环境变量    在/etc/profile文...【阅读全文】

【HADOOP】 hadoop 分布式部署简单搭建

plumxx99 | 2015-07-17 21:18:10 | 阅读(2690) | 评论(0)

实验环境:
rhel6.3 selinux and iptables disabled, sshd enabled
主机：192.168.122.5     master
            192.168.122.6     slave
        &nbs...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 22:50:51 | 阅读(2400) | 评论(0)

1.what is apache hadoop? 谁说大象不能跳舞？ 轻松应对海量数据存储与分析带来的挑战 2.海量数据： 量：大，数目多，数据量达到PB，ZB级别，条目数达到几十亿条，几百亿条 1）存储：分布式，集群的概念进行存储管理（主节点、从节点），HDFS（hadoop distribute file system） ...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 21:30:03 | 阅读(1740) | 评论(0)

1.hadoop生成环境都是在linux环境下，hadoop 2.x开始支持win环境。掌握linux环境，熟悉基本命令和linux环境的基本配置。 2.vmware虚拟机环境的搭建 3.使用的是Centos 6.4    redhat 6.x 64位     。 4.linux系统环境的基本配置，配置ip地址，配置主机名，关闭防火墙等。 5.远...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

douyaqiang123 | 2015-06-30 16:41:29 | 阅读(1770) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决

niao5929 | 2015-05-19 09:38:23 | 阅读(1100) | 评论(0)

Hadoop2.x通过Zookeeper实现Namenode的HA方案及ResourceManager单点故障解决[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]我们知道Hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、...【阅读全文】

【HADOOP】 Hadoop2.x解决Namenode 单点故障问题

niao5929 | 2015-05-19 09:36:12 | 阅读(780) | 评论(0)

Hadoop2.x解决Namenode 单点故障问题[日期：2015-05-19]来源：Linux社区作者：Linux[字体：大中小]Hadoop解决单点故障问题主要是通过两种方式：1、NFS文件共享2、QJM 方式 CLOUDERA提出的在Hadoop2.x中有两...【阅读全文】

【HADOOP】如何快速搭建HBase分布式NoSQL数据库

fengzhanhai | 2015-04-20 14:32:52 | 阅读(3910) | 评论(0)

博主在安装HBase1.0的过程中参考了很多网上的资料进行配置安装，得到的一个结论就是太坑嗲了，按照我看到的所有安装部署文档都走了一遍都存在这样或者那样的问题，最后浪费了大把的时间也没有搞定。建议后来者在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建（注释：以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置，若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作）。【阅读全文】