ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： C语言 C++ Python 项目管理 Oracle ubuntu HADOOP CCNA
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 254 条
【HADOOP】 Hadoop-2.4.0中HDFS文件块大小默认为128M
Aquester | 2014-04-19 14:34:32 | 阅读(5180) | 评论(0)
134217728 / 1024 = 131072 / 1024 = 128【阅读全文】
【HADOOP】 看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考
Aquester | 2014-04-19 11:33:41 | 阅读(3120) | 评论(0)
为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。...【阅读全文】
【HADOOP】 查看HDFS集群信息
Aquester | 2014-04-19 10:42:14 | 阅读(3530) | 评论(0)
clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】
【HADOOP】 Hadoop并行计算原理与分布式并发编程
吟风_骋 | 2014-04-09 16:59:36 | 阅读(0) | 评论(0)
Hadoop并行计算原理与分布式并发编程
【阅读全文】
【HADOOP】 Hadoop分布式文件系统（HDFS）
lingshaohusoft | 2014-03-19 14:27:27 | 阅读(2280) | 评论(0)
Hadoop是一个基于JAVA的支持数据密集型分布式应用的分布式文件系统。它能够保证应用可以在上千个低成本商用硬件存储结点上处理PB级的数据。Hadoop是Apache开源项目，Yahoo支持这个项目并在自己的web搜索和商业广告业务上使用它。Hadoop开发类似于Google的MapReduce和Google文件系统的技术。图 5.9为Hadoop的整体结构。...【阅读全文】
【HADOOP】 Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制
lingshaohusoft | 2014-03-19 14:17:10 | 阅读(1940) | 评论(0)
读文件 　　读文件时内部工作机制参看下图：客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），RPC（NameNode来得到此文件最开始几个datanode的，block的位置信息，这些信息所需的带宽是很少的，这样便有效的避免了单点...【阅读全文】
【HADOOP】 Hadoop编程学习（三）：namenode内部关键数据结构介绍
lingshaohusoft | 2014-03-19 11:17:17 | 阅读(2090) | 评论(0)
1 概述本文档目的在于对namenode中各种关键的数据结构进行剖析和解释，以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包括对namenode中Namenode和FSNameSystem的程序代码结构，FSDirectory，BlocksMap， CorruptReplicationMap，excessReplicateMap， UnderReplicatedBlocks，PendingRepl...【阅读全文】
【HADOOP】 Hadoop学习笔记（五）：一些关于HDFS的基本知识
lingshaohusoft | 2014-03-19 09:46:30 | 阅读(1670) | 评论(0)
From：http://www.cnblogs.com/beanmoon/archive/2012/12/08/2809315.html当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就出现了，例如其中最重要的一个问题就是如何保证在某个节点...【阅读全文】
【HADOOP】 Hadoop集群完全分布式模式环境部署
tf1008 | 2014-03-12 21:38:19 | 阅读(1400) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】
【HADOOP】 Hadoop初探之MapReduce+HBase实例
Larpenteur | 2014-03-06 02:36:00 | 阅读(990) | 评论(0)
一、环境配置        这里选择的环境是hadoop-0.20.2和hbase-0.90.4，Hadoop环境配置参看这里，HBase环境配置请看这里。        需要注意的是，本文的需求是在Hadoop上跑MapReduce job来分析日志并将结果持久化到HBase，所以，在编译程序时，Hadoop需要用到...【阅读全文】
【HADOOP】 Hadoop初探之MapReduce+HBase实例
niao5929 | 2014-03-05 18:14:26 | 阅读(510) | 评论(0)
一、环境配置        这里选择的环境是hadoop-0.20.2和hbase-0.90.4，Hadoop环境配置参看这里，HBase环境配置请看这里。        需要注意的是，本文的需求是在Hadoop上跑MapReduce job来分析日志并将结果持久化到HBase，所以，在编译程序时，Hadoop需要用到...【阅读全文】
【HADOOP】 Hadoop初探之MapReduce+HBase实例
scq2099yt | 2014-03-04 19:38:12 | 阅读(9090) | 评论(1)
一、环境配置        这里选择的环境是hadoop-0.20.2和hbase-0.90.4，Hadoop环境配置参看这里，HBase环境配置请看这里。        需要注意的是，本文的需求是在Hadoop上跑MapReduce job来分析日志并将结果持久化到HBase，所以，在编译程序时，Hadoop需要用到...【阅读全文】
【HADOOP】 四种方案将OpenStack部署到Hadoop
zzjlzx | 2014-02-18 17:21:07 | 阅读(690) | 评论(0)
四种方案将OpenStack部署到Hadoop导读：随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。尤其是OpenStack作为目前最流行的开源云版本如何部署在Hadoop上。关键词：OpenStack Hadoop 大数据技术 　　随着企业开始同时利用云计算和大数据...【阅读全文】
【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？
zzjlzx | 2014-02-18 17:19:31 | 阅读(910) | 评论(0)
Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】
【HADOOP】 Hadoop的分布式架构改进与应用
LaoLiulaoliu | 2014-01-09 10:33:40 | 阅读(670) | 评论(0)
文章来源：http://blog.csdn.net/pelick/article/details/76194931.  背景介绍       谈到分布式系统，就不得不提到Google的三驾马车:GFS[1],MapReduce[2]和BigTable[3]。虽然Google没有开源这三个技术的实现源码，但是基于这三篇开源文档, Nutch项目子项目之一的Yahoo资助的Had...【阅读全文】
【HADOOP】 hadoop系统的端口
LaoLiulaoliu | 2014-01-05 23:13:10 | 阅读(1120) | 评论(0)
周海汉 /文2012.9.13本文地址：http://abloz.com/2012/09/13/the-hadoop-system-of-port.htmlhadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1....【阅读全文】
【HADOOP】 Hadoop实战-初级部分 之 Shell
sufeizi | 2013-12-11 11:39:55 | 阅读(600) | 评论(0)
第一部分：Hadoop Bin后面根据项目的实际需要Hadoop Bin  包括:Hadoop  hadoop的Shellhadoop-config.sh 它的作用是对一些变量进行赋值     HADOOP_HOME（hadoop的安装目录）。     HADOOP_CONF_DIR（hadoop的配置...【阅读全文】
【HADOOP】 Hadoop实战-初级部分 之 HDFS API
sufeizi | 2013-12-11 11:37:34 | 阅读(270) | 评论(0)
私塾在线《深入浅出学  Hadoop-  初级  部分》   ——  系列精品教程视频课程地址》》》 http://sishuok.com/product/481整体课程概览第一部分：开始云计算之旅第二部分：初识H...【阅读全文】
【HADOOP】 基于Hadoop平台做大数据的几种应用
jiongtoast | 2013-12-06 11:04:12 | 阅读(1160) | 评论(0)
1、自己写MapReduce任务，虽然开发难度大一点，但运行效率比Pig和Hive高，像Google的PageRank排名，机器学习、推荐，全盘扫描的ETL都是这种方式的典型应用；2、用Hive做分析，Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写，但某些运算效率不及M/R；3、用Pig做数据分析，Pig是Yahoo的研发成果，yahoo也希望...【阅读全文】
【HADOOP】 Hadoop添加节点datanode
zzjlzx | 2013-11-28 15:21:41 | 阅读(1110) | 评论(0)
Hadoop添加节点datanode 浏览(2607)|评论(0)   交流分类：Java|笔记分类: hadoop 1.部署hadoop和普通的datanode一样。安装jdk，ssh2.修改host和普通的datanode一样。添加namenode的ip3.修改namenode的配置文件conf/slaves添加新增...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务