搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android 网络安全 Java C语言 C++ 敏捷 Mysql MongoDB

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【服务器与存储】 Google后Hadoop时代的新“三驾马车”

xiong9937 | 2015-06-24 16:51:14 | 阅读(1250) | 评论(0)

d【阅读全文】

【服务器与存储】 Hadoop即将过时了吗？

xiong9937 | 2015-06-24 16:44:45 | 阅读(1390) | 评论(0)

z【阅读全文】

【服务器与存储】关于博主们hadoop学习使用经验汇总篇

典雅的土地雷 | 2015-06-22 01:38:31 | 阅读(900) | 评论(0)

【阅读全文】

【LINUX】分布式文件系统DFS之Hadoop机制分析

镇水铁牛 | 2015-06-20 09:24:22 | 阅读(660) | 评论(0)

hadoop的节点主要分NameNode和DataNode，我们把NameNode也叫做master node，DataNode叫做slave node。同时把用户的应用程序当作client。 master node负责hadoop中HDFS和Map Reduce功能管理，master node有Job Tracker服务，当Job Tracker使...【阅读全文】

【架构设计与优化】分布式文件系统DFS之Hadoop介绍

镇水铁牛 | 2015-06-20 08:31:24 | 阅读(920) | 评论(0)

现在分布式有很多开源软件，实现总体思想类似，只存在部分差异，目的为处理大数据，所谓的大数据一般包含两个属性：海量数据量，可被key/value的关系型数据。分布式系统一般都具有的优点：HA、scale out、fault tolerance。有的DFS系统，如hadoop的HDFS，数据提...【阅读全文】

【Sybase】解决hadoop fs copyToLocal时本地文件不能存在的问题

lion_sybiq_127 | 2015-06-19 17:40:13 | 阅读(6400) | 评论(0)

在执行hadoop fs -copyToLocal命令时，本地文件系统中的文件不能存在，不能进行覆写。在某些情况下，比如：使用命名管道时，由于本地管道文件不能存在，这使得应用通过命名管道与HDFS集成时造成问题。在这篇博文中，将介绍使用hadoop libdfs(C API)编写的一个解决这个问题的示例程序。这个示例程...【阅读全文】

【Sybase】伪分布式Hadoop 2.6.0集群安装和配置

lion_sybiq_127 | 2015-06-19 10:48:46 | 阅读(2690) | 评论(0)

本文将向大家介绍Hadoop 2.6.0“伪分布式”集群的安装和配置方法。在后面的一系列有关大数据技术以及IQ同大数据技术集成的文章中都将使用“伪分布式”模式下的hadoop集群作为示例环境。本文中用于说明Hadoop 2.6.0安装和配置内容所使用的环境如下： * VMware虚拟机1个：2 CPU、4GB内存...【阅读全文】

【系统运维】 CentOS配置Hadoop环境变量

niao5929 | 2015-06-19 09:00:37 | 阅读(1220) | 评论(0)

CentOS配置Hadoop环境变量[日期：2015-06-15]来源：Linux社区作者：fantasydreams[字体：大中小]CentOS7 && Hadoop-2.7.0.tar.gzHadoop基于java环境，所以需要配置jdk。 1、配置jdk： http://www.linuxid...【阅读全文】

【大数据】 Hadoop管理实战培训

sittc2 | 2015-06-09 14:34:18 | 阅读(500) | 评论(0)

随着云计算和大数据的发展，Hadoop作为海量数据分析的最佳解决方案，在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台，使企业从所有不同类型的数据里挖掘商业价值成为现实。Hadoop受到许多 IT厂商的关注，从而出现了许多Hadoop的商业版以及支持Hadoop的产品，形成一个强大的生态系统.掌握全面的海量处理解决方案、精通hadoop技术要点的高级云计算技术人才成为整个行业的紧缺人才。
上海市信息技术培训中心特邀国内著名Cloudera授权培训讲师，推出Apache Hadoop认证培训，为您介绍涉及与数据一同成长所面临的普遍挑战和解决方案，带您学习使用Apache Hadoop来创建开发强大的数据处理应用，掌握海量数据处理技术，开启通往大数据和云时代的大门。【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1040) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】

【HADOOP】 hadoop HDFS HA 测试后双standby模式

levy-linux | 2015-05-18 16:36:29 | 阅读(4980) | 评论(0)

今天测试HDFS群集active和standby切换，过程中出现了两个standby模式，运行hadoop命令出现如下报错，15/05/18 16:31:12 INFO retry.RetryInvocationHandler: Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over Master1/192.168.19.194:9000 after 13 fail over attempts. Trying to...【阅读全文】

【HADOOP】 Hadoop 源代码分析（二八）NameNode - ClientProtocol

超人学院1 | 2015-05-12 17:18:46 | 阅读(600) | 评论(0)

万事俱备，我们可以来分析NameNode 上的流程啦。首先我们来看NameNode 上实现的ClientProtocol，客户端通过这个接口，可以对目录树进行操作，打开/关闭文件等。getBlockLocations 用于确定文件内容的位置，它的输入参数为：文件名，偏移量，长度，返回值是一个LocatedBlocks 对象（如下图），它...【阅读全文】

【HADOOP】 Hadoop 源代码分析（一九）INode*

超人学院1 | 2015-05-12 17:16:43 | 阅读(630) | 评论(0)

我们先分析INode*.java，类INode*抽象了文件层次结构。如果我们对文件系统进行面向对象的抽象，一定会得到和下面一样类似的结构图（类INode*）： INode 是一个抽象类，它的两个字类，分别对应着目录（INodeDirectory）和文件（INodeFile）。INodeDirectoryWithQuota，如它的名字隐含的，是带了容量限制的目录。I...【阅读全文】

【HADOOP】 hadoop安装的时候，提前确认hadoop版本是32位还是64位。

levy-linux | 2015-05-12 11:08:15 | 阅读(3570) | 评论(0)

hadoop在安装的时候，需要知道hadoop版本是32位还是64位。hadoop官网原来提供的都是32位，因为我们大部分服务器都是64位，所以不得不重新编译。后来官网从hadoop2.5版本开始就提供了64位。我们来从官网下载的hadoop2.4.1安装包.hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命...【阅读全文】

【HADOOP】 Hadoop 源代码分析（一七）DataNode

超人学院1 | 2015-05-11 17:35:17 | 阅读(490) | 评论(0)

周围的障碍扫清以后，我们可以开始分析类DataNode。类图如下： publipublic class DataNode extends Configuredimplements InterDatanodeProtocol, ClientDatanodeProtocol, FSConsta nts, Runnable上面给出了DataNode 的继承关系，我们发现，DataNode 实现了两个通信接口，其中ClientDatanodeProt...【阅读全文】

【HADOOP】 Hadoop 源代码分析（六）RPC-Client

超人学院1 | 2015-05-08 14:50:29 | 阅读(560) | 评论(0)

既然是RPC，自然就有客户端和服务器，当然，org.apache.hadoop.rpc 也就有了类Client 和类Server。在这里我们来仔细考察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client 中的关键类和关键方法。由于Client 可能和多个Server 通信，典型的一次HDFS 读，需要和NameNode 打交道，也需要和某个/某...【阅读全文】

【大数据】 eclipse hadoop设置报错 9000 failed on connection exception

levy-linux | 2015-05-04 13:52:06 | 阅读(5910) | 评论(0)

近期帮助一个朋友解决eclipse hadoop连接问题run as hadoop方式，（hadoop 2.X Eclipse 4.5.X）报错信息：error:call from alia-pc/192.168.111.1 to 192.168.1.73:9000 failed on connection exception:java.net.Connection:Connection refused:no further...【阅读全文】

【大数据】配置hadoop-1.2.1 eclipse开发环境 Run as hadoop

levy-linux | 2015-04-30 15:30:44 | 阅读(2300) | 评论(0)

配置hadoop-eclipse开发环境（Version: 3.4.1 and hadoop-1.2.1）hadoop-eclipse-1.2.1 插件需要自行编译，所以为了图省事而从网上直接下载了这个jar包，下载资源。下载这个jar包后，将它放置在eclipse/plugins目录下，并重启eclipse即可。如果你需要自己编译该插件，网上搜索下。...【阅读全文】

【大数据】 SPARK & HAdoop (关键词搜集)

feng5hao | 2015-04-28 09:05:05 | 阅读(0) | 评论(0)

1、Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。2、尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系...【阅读全文】

【HADOOP】 Hadoop 学习总结之一：HDFS简介

ilffe | 2015-04-27 14:31:00 | 阅读(710) | 评论(0)

转载：http://forfuture1978.iteye.com/blog/615033一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件...【阅读全文】

首页
<<
6
7
8
9
10
11
12
13
14
15
>>
末页

网络110 报警服务