ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： 网络安全 敏捷 Mysql Oracle AIX Hyper-V 虚拟化 FTP
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 230 条
【HADOOP】 怎么用java从hadoop中读数据
xyaxlz | 2014-03-24 16:25:08 | 阅读(3450) | 评论(0)
如果用eclipse 连接hadoop测试 一定要把core-site.xml  hdfs-site.xml 放到和包test同目录下 不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】
【HADOOP】 怎么用java向hadoop中写数据
xyaxlz | 2014-03-24 16:15:57 | 阅读(3620) | 评论(0)
如果用eclipse 连接hadoop测试 一定要把core-site.xml  hdfs-site.xml 放到和包test同目录下 不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】
【HADOOP】 Hadoop分布式文件系统（HDFS）
lingshaohusoft | 2014-03-19 14:27:27 | 阅读(2280) | 评论(0)
Hadoop是一个基于JAVA的支持数据密集型分布式应用的分布式文件系统。它能够保证应用可以在上千个低成本商用硬件存储结点上处理PB级的数据。Hadoop是Apache开源项目，Yahoo支持这个项目并在自己的web搜索和商业广告业务上使用它。Hadoop开发类似于Google的MapReduce和Google文件系统的技术。图 5.9为Hadoop的整体结构。...【阅读全文】
【HADOOP】 Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制
lingshaohusoft | 2014-03-19 14:17:10 | 阅读(1940) | 评论(0)
读文件 　　读文件时内部工作机制参看下图：客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），RPC（NameNode来得到此文件最开始几个datanode的，block的位置信息，这些信息所需的带宽是很少的，这样便有效的避免了单点...【阅读全文】
【HADOOP】 Hadoop编程学习（三）：namenode内部关键数据结构介绍
lingshaohusoft | 2014-03-19 11:17:17 | 阅读(2090) | 评论(0)
1 概述本文档目的在于对namenode中各种关键的数据结构进行剖析和解释，以方便更好的对namenode的各种处理逻辑和代码结构进行理解。其中包括对namenode中Namenode和FSNameSystem的程序代码结构，FSDirectory，BlocksMap， CorruptReplicationMap，excessReplicateMap， UnderReplicatedBlocks，PendingRepl...【阅读全文】
【HADOOP】 Hadoop学习笔记（五）：一些关于HDFS的基本知识
lingshaohusoft | 2014-03-19 09:46:30 | 阅读(1680) | 评论(0)
From：http://www.cnblogs.com/beanmoon/archive/2012/12/08/2809315.html当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就出现了，例如其中最重要的一个问题就是如何保证在某个节点...【阅读全文】
【HADOOP】 Hadoop在Windows环境下的部署
hnynes | 2014-02-28 15:46:17 | 阅读(3600) | 评论(1)
安装JDK1.下载JDK       http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html2.解压   或者直接运行.exe安装后面根据项目的实际需要来进行调整。安装...【阅读全文】
【HADOOP】 UBUNTU上HIVE的安装
joepayne | 2014-02-25 19:01:45 | 阅读(0) | 评论(0)
HIVE 安装【阅读全文】
【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？
zzjlzx | 2014-02-18 17:19:31 | 阅读(910) | 评论(0)
Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】
【HADOOP】 mapreduce理解--（转载自heipark的日志）
buaaedifier | 2014-01-26 22:55:18 | 阅读(2600) | 评论(0)
linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008   查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合） 再来一个例子，关于SQL：select * from device&nb...【阅读全文】
【HADOOP】 Hadoop的分布式架构改进与应用
LaoLiulaoliu | 2014-01-09 10:33:40 | 阅读(680) | 评论(0)
文章来源：http://blog.csdn.net/pelick/article/details/76194931.  背景介绍       谈到分布式系统，就不得不提到Google的三驾马车:GFS[1],MapReduce[2]和BigTable[3]。虽然Google没有开源这三个技术的实现源码，但是基于这三篇开源文档, Nutch项目子项目之一的Yahoo资助的Had...【阅读全文】
【HADOOP】 Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException
double_lq | 2014-01-07 16:17:05 | 阅读(1070) | 评论(0)
ubuntu下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=WRITE 描述：在ubuntu下使用Eclipse进行hadoop的程序编写，然后Run on hadoop 后，出现如下错误：11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_0003...【阅读全文】
【HADOOP】 hadoop2.3.0单点伪分布与多点分布的配置
LaoLiulaoliu | 2014-01-07 00:49:35 | 阅读(2210) | 评论(4)
我的机器是mac book，安装virtualbox4.3.6，virtualbox安装ubunt13.10，在多点分布环境中，配置好一个机器后，clone出另外2个，一共三台机器。1. Configure the Environmentsudo apt-get install -y openjdk-7-jdk openssh-serversudo addgroup hadoopsudo adduser —ingroup hadoop hadoop # create passwordsu - had...【阅读全文】
【HADOOP】 hadoop系统的端口
LaoLiulaoliu | 2014-01-05 23:13:10 | 阅读(1120) | 评论(0)
周海汉 /文2012.9.13本文地址：http://abloz.com/2012/09/13/the-hadoop-system-of-port.htmlhadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1....【阅读全文】
【HADOOP】 时间戳不一致导致的HRegionServer启动问题解决！
Larpenteur | 2013-12-19 12:15:11 | 阅读(1770) | 评论(0)
     腾出手来对部署好的hadoop/hbase云计算平台进行取证分析测试，但是运行过程中经常会不时地node2无法正常启动HRegionserver，从而导致整个平台的计算受到影响。之前自己围绕HMaster自动关闭的问题，删除了各个节点的HDFS目录，重新格式化后问题得到了解决，但是这次问题却依旧，于是自己只好去日志中一...【阅读全文】
【HADOOP】 认识的误区：Hadoop=云计算
圣剑蓝骑士 | 2013-12-19 06:58:29 | 阅读(940) | 评论(0)
最近看到清华大学出版社发行的一本新书，《深入浅出云计算》出版时间是2012-10-01日，如图1所示。我以为这是一本科普型读物，是加深读者对云计算的认识的书籍，毕竟云计算覆盖的领域太广了。泛读后发现完全不是这么回事。全书基本上都是在讲Hadoop以及Hadoop生态圈里面的相关工具和技术。如图2所示：我由此联想到前...【阅读全文】
【HADOOP】 基于Hadoop平台做大数据的几种应用
jiongtoast | 2013-12-06 11:04:12 | 阅读(1160) | 评论(0)
1、自己写MapReduce任务，虽然开发难度大一点，但运行效率比Pig和Hive高，像Google的PageRank排名，机器学习、推荐，全盘扫描的ETL都是这种方式的典型应用；2、用Hive做分析，Hive的一大好处就是能使用程序员熟悉的SQL进行计算任务编写，但某些运算效率不及M/R；3、用Pig做数据分析，Pig是Yahoo的研发成果，yahoo也希望...【阅读全文】
【HADOOP】 时间戳不一致导致的HRegionServer启动问题解决！
niao5929 | 2013-12-06 10:38:30 | 阅读(580) | 评论(0)
     腾出手来对部署好的hadoop/hbase云计算平台进行取证分析测试，但是运行过程中经常会不时地node2无法正常启动HRegionserver，从而导致整个平台的计算受到影响。之前自己围绕HMaster自动关闭的问题，删除了各个节点的HDFS目录，重新格式化后问题得到了解决，但是这次问题却依旧，于是自己只好去日志中一...【阅读全文】
【HADOOP】 时间戳不一致导致的HRegionServer启动问题解决！
windhawkgyang | 2013-12-05 16:13:23 | 阅读(1650) | 评论(1)
     腾出手来对部署好的hadoop/hbase云计算平台进行取证分析测试，但是运行过程中经常会不时地node2无法正常启动HRegionserver，从而导致整个平台的计算受到影响。之前自己围绕HMaster自动关闭的问题，删除了各个节点的HDFS目录，重新格式化后问题得到了解决，但是这次问题却依旧，于是自己只好去日志中一...【阅读全文】
【HADOOP】 在多硬盘情况下的Hadoop配置注意项
zzjlzx | 2013-11-29 11:28:30 | 阅读(1580) | 评论(0)
在多硬盘情况下的Hadoop配置注意项分类： hadoop 收藏2012-04-23 20:04 280人阅读 评论(0) 收藏 举报hadoophtml多线程文档测试原文地址：http://blog.csdn.net/dajuezhao/article/details/6797015一、背景1、最近在做hadoop的性能测试，采用了自带的Ter...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务