按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 37
sh1027347389 | 2018-01-04 14:22:13 | 阅读(60) | 评论(0)
当你在学习和使用hadoop时,也许会遇到这样的一个问题,运行bin/start-all.sh时发现namenode没有启动,可以通过以下方法进行排查解决【阅读全文】
laoliulaoliu | 2016-07-02 21:26:33 | 阅读(470) | 评论(0)
原文地址:https://zhuanlan.zhihu.com/p/20953323作者:馨宁链接:https://zhuanlan.zhihu.com/p/20953323来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。介绍Hadoop的文章已经很多了,个人感觉这一篇还是写得不错的:Hadoop以前是,现在仍然是大数据批处理领域的王...【阅读全文】
海峡 | 2016-04-27 18:59:36 | 阅读(790) | 评论(0)
http://www.thebigdata.cn/Hadoop/9572.html注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。  1.    ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户...【阅读全文】
海峡 | 2016-04-12 15:39:31 | 阅读(600) | 评论(0)
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ?背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...【阅读全文】
【架构设计与优化】 Hadoop进程启动过程分析
海峡 | 2016-04-11 21:27:15 | 阅读(610) | 评论(0)
hadoop 启动过程【阅读全文】
【架构设计与优化】 分布式文件系统DFS之Hadoop介绍
镇水铁牛 | 2015-06-20 08:31:24 | 阅读(920) | 评论(0)
        现在分布式有很多开源软件,实现总体思想类似,只存在部分差异,目的为处理大数据,所谓的大数据一般包含两个属性:海量数据量,可被key/value的关系型数据。         分布式系统一般都具有的优点:HA、scale out、fault tolerance。有的DFS系统,如hadoop的HDFS,数据提...【阅读全文】
hiyachen | 2014-09-13 13:56:15 | 阅读(0) | 评论(0)
从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)【阅读全文】
【架构设计与优化】 hadoop 1.0跟hadoop2.0对比
Larpenteur | 2014-03-31 09:08:20 | 阅读(590) | 评论(0)
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。MapReduce 程序的流程及设计思路:    首 先用户程序 (JobC...【阅读全文】
【架构设计与优化】 hadoop 1.0跟hadoop2.0对比
niao5929 | 2014-03-18 21:55:23 | 阅读(190) | 评论(0)
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。MapReduce 程序的流程及设计思路:    首 先用户程序 (JobC...【阅读全文】
【架构设计与优化】 hadoop 1.0跟hadoop2.0对比
xupengtao7 | 2014-03-17 15:47:30 | 阅读(2480) | 评论(2)
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。MapReduce 程序的流程及设计思路:    首 先用户程序 (JobC...【阅读全文】
【架构设计与优化】 Hadoop伪分布式集群
niao5929 | 2013-12-30 22:03:08 | 阅读(480) | 评论(0)
Hadoop伪分布式集群【阅读全文】
【架构设计与优化】 Hadoop伪分布式集群
蓝天上的青鸟 | 2013-12-28 23:55:06 | 阅读(1290) | 评论(1)
Hadoop伪分布式集群【阅读全文】
摸姐座 | 2013-12-28 11:56:07 | 阅读(180) | 评论(0)
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置分类: Ubunt Java技术 云计算 Hadoop系列2013-09-25 17:09 604人阅读 评论(0) 收藏 举报一、引言Hadop是一种分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序...【阅读全文】
【架构设计与优化】 Hadoop集群与Hadoop性能优化
1234567lq | 2013-12-23 20:54:44 | 阅读(830) | 评论(0)
Hadoop集群与Hadoop性能优化【阅读全文】
zzjlzx | 2013-11-26 17:25:50 | 阅读(400) | 评论(0)
 hadoop学习笔记(8)-hosts文件配置的问题分类: Web/数据/云计算 2013-01-26 10:36 465人阅读 评论(0) 收藏 举报环境:Centos6.3 x64jdk-1.6.0 u38 x64hadoop-1.0.4搭建集群时遇到一个问题:在namenode和jobtracket节点的日志中总是在报以下的错误:java.io.IOException: could only be replicated to 0 node...【阅读全文】
【架构设计与优化】 Hadoop伪分布式和完全分布式配置
zzjlzx | 2013-11-26 16:48:58 | 阅读(480) | 评论(0)
Hadoop伪分布式和完全分布式配置[日期:2013-05-20]来源:Linux社区  作者:linuxgfc[字体:大 中 小] Hadoop的三种模式:本地模式:本地模拟实现,不使用分布式文件系统伪分布式模式:5个进程在一台主机上启动,一般开发人员调试hadoop程序使用完全分布式模式:至少3个结点,JobTracker和Nam...【阅读全文】
zzjlzx | 2013-11-26 16:45:26 | 阅读(400) | 评论(0)
hadoop学习笔记(3)-eclipse下搭建hadoop开发环境各种问题的解决分类: Web/数据/云计算 2012-02-17 15:30 2656人阅读 评论(0) 收藏 举报hadoopeclipseeclipse插件centosssh这两天折腾在eclipse中写hadoop map-reduce jobs,遇到了以下问题:1、无法配置ssh无密码登录2、无法启动hadoop守护进程3、hadoop-0.20.203.0...【阅读全文】
【架构设计与优化】 快速搭建 Hadoop 环境
zzjlzx | 2013-11-26 11:21:16 | 阅读(200) | 评论(0)
快速搭建 Hadoop 环境2012-02-09 12:58:07标签:原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://dngood.blog.51cto.com/446195/775368对于Hadoop来说,最主要的是两个方面,一个是分布式文件系统HDFS,另一个是M...【阅读全文】
【架构设计与优化】 Ubuntu 12.04安装Hadoop
zzjlzx | 2013-11-25 16:16:44 | 阅读(520) | 评论(0)
相关阅读:在Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htmUbuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.htm在Ubuntu上安装OpenStack的Swift组件-installing openstack object storage http:/...【阅读全文】
zzjlzx | 2013-11-25 16:08:56 | 阅读(950) | 评论(0)
Hadoop2.2.0版本多节点集群安装及测试看看新闻网>看引擎>系统运维摘要:本文记录了Hadoop2.2.0版本多节点集群安装过程,并做了基本配置,启动运行和测试了一个单词统计例子。环境说明:基于Windows下的VMware Player4.0.3中的Ubuntu12.04-64server安装,先把基础软件安装到一个虚拟机中,然后拷贝两份...【阅读全文】