搜索博文结果_ChinaUnix博客

levy-linux | 2015-09-02 18:54:15 | 阅读(1450) | 评论(0)

集群平衡介绍
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡...【阅读全文】

【HADOOP】 Hadoop集群日常运维

levy-linux | 2015-08-29 22:32:34 | 阅读(1580) | 评论(0)

（一）备份namenode的元数据<br />namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。<br />1、将元数据复制到远程站点<br />（1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器<br /><br />...【阅读全文】

【HADOOP】 HA-Federation-HDFS +Yarn集群部署方式

niao5929 | 2015-08-27 20:08:28 | 阅读(1600) | 评论(0)

<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">HA-Federation-HDFS +Yarn集群部署方式</h1></div><table width="97%...【阅读全文】

【HADOOP】 HA-Federation-HDFS +Yarn集群部署方式

niao5929 | 2015-08-25 15:16:38 | 阅读(950) | 评论(0)

<div style="font-size:12px;color:#333333;font-family:tahoma, 宋体;line-height:normal;white-space:normal;text-align:center;background-color:#FAFAFC;"><h1 class="aTitle" style="font-size:16px;position:relative;padding-top:10px;">HA-Federation-HDFS +Yarn集群部署方式</h1></div><table width="97%...【阅读全文】

【HADOOP】 hadoop测试群集机房断电宕机处理

levy-linux | 2015-08-17 16:19:42 | 阅读(1670) | 评论(0)

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完...【阅读全文】

【HADOOP】中小规模Hadoop集群优化

levy-linux | 2015-08-06 18:12:31 | 阅读(1590) | 评论(0)

我们有一个Hadoop集群从上个月开始遇到一系列性能问题，在逐一解决的过程中，积累了以下的优化经验。<br /><br />1. 网络带宽<br /><br />Hadoop集群的服务器在规划时就在统一的交换机下，这是在官方文档中建议的部署方式。<br /><br />但是我们的这台交换机和其他交换机的互联带宽有限，所以在客户端遇到了HDFS访问...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

dirk2014 | 2015-08-06 13:22:00 | 阅读(480) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

douyaqiang123 | 2015-06-30 16:41:29 | 阅读(1770) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】 HadoopV2集群配置

xuemling | 2015-05-08 16:45:49 | 阅读(1480) | 评论(0)

HadoopV2集群配置【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

qidunhu | 2015-04-19 00:03:21 | 阅读(1900) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

visualj | 2015-04-18 21:59:25 | 阅读(2190) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

godymoon | 2015-04-10 16:25:53 | 阅读(1210) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

lodestar7777 | 2015-04-10 15:25:33 | 阅读(320) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

niao5929 | 2015-04-10 09:00:45 | 阅读(740) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】大数据之快速搭建hadoop2.6集群指南

fengzhanhai | 2015-04-08 14:53:39 | 阅读(123250) | 评论(0)

本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记，如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性，如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】

【HADOOP】 hadoop2.6.0集群环境搭建实验

steve78926 | 2015-03-29 16:13:02 | 阅读(2010) | 评论(0)

参考《hadoop集群环境的搭建》，《hadoop2.6.0版本集群环境搭建》两篇文档，在此基础上加入自己的实验扩展内容
感谢《hadoop集群环境的搭建》的作者：残剑
感谢《hadoop2.6.0版本集群环境搭建》的作者: stark_summer

【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】 Hadoop集群部署时候的几个问题记录

niao5929 | 2015-02-19 16:54:07 | 阅读(530) | 评论(0)

Hadoop集群部署时候的几个问题记录[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]本章部署一个Hadoop 集群由于Hadoop 2.5.x 已经出来有好几个月了，网上配置类似架构的文章也有很多，所以在这里重点...【阅读全文】