搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android Windows JavaScript cISCO 存储 C++ 嵌入式负载均衡

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 361 条

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1790) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1040) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】 hadoop HDFS HA 测试后双standby模式

levy-linux | 2015-05-18 16:36:29 | 阅读(4980) | 评论(0)

今天测试HDFS群集active和standby切换，过程中出现了两个standby模式，运行hadoop命令出现如下报错，15/05/18 16:31:12 INFO retry.RetryInvocationHandler: Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over Master1/192.168.19.194:9000 after 13 fail over attempts. Trying to...【阅读全文】

【HADOOP】 Hadoop 源代码分析（二八）NameNode - ClientProtocol

超人学院1 | 2015-05-12 17:18:46 | 阅读(600) | 评论(0)

万事俱备，我们可以来分析NameNode 上的流程啦。首先我们来看NameNode 上实现的ClientProtocol，客户端通过这个接口，可以对目录树进行操作，打开/关闭文件等。getBlockLocations 用于确定文件内容的位置，它的输入参数为：文件名，偏移量，长度，返回值是一个LocatedBlocks 对象（如下图），它...【阅读全文】

【HADOOP】 Hadoop 源代码分析（一九）INode*

超人学院1 | 2015-05-12 17:16:43 | 阅读(630) | 评论(0)

我们先分析INode*.java，类INode*抽象了文件层次结构。如果我们对文件系统进行面向对象的抽象，一定会得到和下面一样类似的结构图（类INode*）： INode 是一个抽象类，它的两个字类，分别对应着目录（INodeDirectory）和文件（INodeFile）。INodeDirectoryWithQuota，如它的名字隐含的，是带了容量限制的目录。I...【阅读全文】

【HADOOP】 hadoop安装的时候，提前确认hadoop版本是32位还是64位。

levy-linux | 2015-05-12 11:08:15 | 阅读(3570) | 评论(0)

hadoop在安装的时候，需要知道hadoop版本是32位还是64位。hadoop官网原来提供的都是32位，因为我们大部分服务器都是64位，所以不得不重新编译。后来官网从hadoop2.5版本开始就提供了64位。我们来从官网下载的hadoop2.4.1安装包.hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命...【阅读全文】

【HADOOP】 Hadoop 源代码分析（一七）DataNode

超人学院1 | 2015-05-11 17:35:17 | 阅读(490) | 评论(0)

周围的障碍扫清以后，我们可以开始分析类DataNode。类图如下： publipublic class DataNode extends Configuredimplements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable上面给出了DataNode 的继承关系，我们发现，DataNode 实现了两个通信接口，其中ClientDatanodeProt...【阅读全文】

【HADOOP】 Hadoop 源代码分析（六）RPC-Client

超人学院1 | 2015-05-08 14:50:29 | 阅读(560) | 评论(0)

既然是RPC，自然就有客户端和服务器，当然，org.apache.hadoop.rpc 也就有了类Client 和类Server。在这里我们来仔细考察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client 中的关键类和关键方法。由于Client 可能和多个Server 通信，典型的一次HDFS 读，需要和NameNode 打交道，也需要和某个/某...【阅读全文】

【HADOOP】 Hadoop 学习总结之一：HDFS简介

ilffe | 2015-04-27 14:31:00 | 阅读(710) | 评论(0)

转载：http://forfuture1978.iteye.com/blog/615033一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(760) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】启动hadoop NoClassDefFoundError: javax/net/SocketFactory

levy-linux | 2015-04-14 14:32:29 | 阅读(2270) | 评论(0)

近期帮助一个朋友解决一个报错，在启动hadoop的时候报错，如下：Exception in thread "main" java.lang.NoClassDefFoundError: javax/net/SocketFactory at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClassCond(ClassL...【阅读全文】

【HADOOP】 [白皮书翻译]Apache Hadoop的MapR发行版

guoyarong11 | 2015-04-10 11:10:06 | 阅读(470) | 评论(0)

白皮书业内最可靠的Hadoop平台Apache Hadoop的MapR发行版——简单、可靠、快速的Hadoop内容目录概述战略性的Hadoop完整、先进、拥有强力支持的Hadoop发行版易用的Hadoop从批处理转向实时数据流内建数据压缩机制多集群支持筹划、搭建和...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

fengzhanhai | 2015-04-08 17:32:36 | 阅读(9030) | 评论(0)

【HADOOP】 Hadoop内置作业调度器与调度平台的集成

ecjtubaowp | 2015-04-04 09:19:30 | 阅读(2440) | 评论(0)

Hadoop 现在几乎已经成为业界在大数据上事实的标准，越来越多的企业开始采用hadoop进行数据的存储及处理。既然涉及数据处理，一个不可不提的术语就是“作业” or “job”，大量的作业必然要引入作业管理及调度，hadoop也不能例外。传统企业中的调度工具，不管像是简单crontab，或者企业级的如control-M，很容易注...【阅读全文】

【HADOOP】 hadoop学习视频教程超低大回馈，风暴元宵节

幸福彼岸ing | 2015-03-04 15:34:23 | 阅读(450) | 评论(0)

hadoop学习视频教程超低大回馈，风暴元宵节 ------极低风暴，“拳力”出击【活动内容】北风网IT教程买一送一（合作课程和套餐课程除外）,礼品课程随你挑！凡是活动期间购买套餐课程全部6折，另北风网特推出原价8000元包就业.net课程现在购买只需4800元！ 2015风...【阅读全文】

【HADOOP】 Hadoop不适合处理实时数据的原因剖析

niao5929 | 2015-02-26 15:00:50 | 阅读(840) | 评论(0)

Hadoop不适合处理实时数据的原因剖析[日期：2015-02-25]来源：Linux社区作者：哥不是小萝莉[字体：大中小]1.概述　　　Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(650) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】 Hadoop jobhistory历史服务器介绍

niao5929 | 2015-02-19 17:02:57 | 阅读(770) | 评论(0)

Hadoop jobhistory历史服务器介绍[日期：2015-02-18]来源：Linux社区作者：Linux[字体：大中小]Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业...【阅读全文】

【HADOOP】 Hadoop集群部署时候的几个问题记录

niao5929 | 2015-02-19 16:54:07 | 阅读(520) | 评论(0)

Hadoop集群部署时候的几个问题记录[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]本章部署一个Hadoop 集群由于Hadoop 2.5.x 已经出来有好几个月了，网上配置类似架构的文章也有很多，所以在这里重点...【阅读全文】

【HADOOP】 Hadoop单节点安装部署

niao5929 | 2015-02-19 16:52:18 | 阅读(580) | 评论(0)

Hadoop单节点安装部署[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]下面我们来一步步的进行Hadoop安装部署：从零开始机器环境 Distributor ID: CentOS Description: CentO...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务