按类别查询搜索结果
关于关键词 的检测结果,共 1134
houselong | 2013-08-08 09:38:20 | 阅读(440) | 评论(0)
5、配置javadocIDE工具之所以易用,就是辅助功能做的好。在开发代码时,能够减化操作,或者提供帮助。比如javadoc功能,方便我们快速查询方法相关描述、示例等帮助信息,那么对于新引入的HADOOP相关包有没有javadoc支持呢?回答是肯定的,HADOOP软件包中就带有这些内容,位于HADOOP软件根路径的docs目录下。若要...【阅读全文】
houselong | 2013-08-08 09:36:42 | 阅读(620) | 评论(0)
考虑到Windows平台尽管界面友好,但Hadoop环境配置较"怪异",需借助cygwin,这个过程并不优雅。正好我手上另有一套ubuntu环境,用着也很顺手,就在ubuntu中安装了Eclipse IDE,在这套环境中配置安装Hadoop开发环境。在本地搭建HADOOP开发环境时,三思也在网上参考了很多文章,还是很有感触,一个是果然天下文章...【阅读全文】
houselong | 2013-08-08 09:36:30 | 阅读(430) | 评论(0)
2、配置Eclipse开发环境第一次进入Eclipse会提示你选择一个工作区,这个路径下将会做为工程文件的默认保存路径(保存或创建工程时也可以另外自定义,并且后期也可以进行修改),这里三思将其定义到/data/developer/workspace目录下。点击菜单:Window -> Open Perspective -> Other,选中...【阅读全文】
houselong | 2013-08-08 09:36:10 | 阅读(420) | 评论(0)
4、代码开发和调试示例前面部署HADOOP时曾经测试过wordcount程序,这样我们在Eclipse也调试这一功能。HADOOP提供了这些示例的源代码,大家可以在HADOOP安装文件根路径下的examples目录下,比如WordCount位于:examples/org/apache/hadoop/examples/WordCount.java我们新建一个java文件,右键选中项目名称,点击Ne...【阅读全文】
【服务器与存储】 hadoop集群搭建
eqkilly | 2013-08-07 10:31:12 | 阅读(1290) | 评论(0)
http://blog.chinaunix.net/uid-23916356-id-3254578.html首先确定hdfs分布式文件系统目前很多大公司都在用,例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档,我写这篇文章只是为了自己更加深刻的学习和理解,或者帮助一些不会搭建的童鞋们!有问题请加群234086986讨论!以前我搭建的是hadoop-0.20.2、hbas...【阅读全文】
squall_sw | 2013-08-07 10:16:05 | 阅读(3840) | 评论(0)
hadoop hdfs hbase jmx 监控【阅读全文】
【大数据】 hadoop jconsole监控
squall_sw | 2013-08-07 10:11:53 | 阅读(2020) | 评论(0)
hadoop hdfs hbase jconsole 监控【阅读全文】
blue_1110 | 2013-08-05 23:13:48 | 阅读(1640) | 评论(0)
Map/Reduce HDFS Pig HBase Hive【阅读全文】
【HADOOP】 初识Hadoop
blue_1110 | 2013-08-05 23:06:54 | 阅读(2080) | 评论(0)
Map/Reduce Hadoop 网格计算 Grid Computing 关系型数据库管理系统【阅读全文】
peac212ey | 2013-08-05 22:29:00 | 阅读(950) | 评论(0)
Hadoop集群您能否生悉,本文就像各人先容一下Hadoop集群性能优化中有闭机架感知建设成绩,悲迎各人一同来进修,盼愿颠末本文的先容各人对机架感知有所理解。AD:本节战各人继尽进修一下有闭Hadoop集群性能优化中机架感知建设方面的内容iaretalk.com,重要包含写进数据战读出数据两年夜局部,盼愿颠末本节的先容各人对Hado...【阅读全文】
圣剑蓝骑士 | 2013-07-31 12:06:02 | 阅读(2360) | 评论(0)
以下为实现时用到的包及其职责 com.ouyang.chk包含 检测迭代能否停止的mapreduce任务的一些类com.ouyang.driver程序的入口com.ouyang.graph图的...【阅读全文】
圣剑蓝骑士 | 2013-07-31 12:02:46 | 阅读(1700) | 评论(0)
1. 基本概念 序列化可被定义为将对象的状态存储到存储媒介中的过程。在此过程中,对象的公共字段和私有字段以及类的名称(包括包含该类的程序集)都被转换为字节流,然后写入数据流。在以后反序列化该对象时,创建原始对象的精确复本。当在面向对象的环境中实现序列化机制时,您需要在简化使用和保持灵活...【阅读全文】
【HADOOP】 Hadoop执行过程
圣剑蓝骑士 | 2013-07-31 11:59:05 | 阅读(800) | 评论(0)
根据Hadoop++论文的描述,Hadoop执行过程分为Load、Map、Shuffle、Reduce这四个阶段,可以看成是一个由split、 itemize、map、reduce等10个函数或算子组成的DAG。其中每一个函数或算子,都可以提供自定义的实现以此来扩展Hadoop的功能或优 化性能。1、Load阶段输入数据经block函数,按配置的block大小切分成多个bloc...【阅读全文】
圣剑蓝骑士 | 2013-07-31 11:35:30 | 阅读(550) | 评论(0)
调研总结 by yingru 先记录server端的机制  最初接触RPC,用自己的思路来猜测RPC的实现机制:  Server端开启socket监听,listen()à accept()àread()àwrite()àclose()  有请求来时开启thread处理请求,原进程继续监听,请求完毕后将结果返回给client端  这样设计...【阅读全文】
圣剑蓝骑士 | 2013-07-31 11:34:15 | 阅读(620) | 评论(0)
转自http://www.cnblogs.com/sidmeng/archive/2012/04/09/2438592.html目前,hadoop社区有几个不同的分支版本,各个版本之前又相互联系。以下是几个主要版本的一些介绍。    0.20.2是一个stable的版本,他又几个子版本,0.20.203 具有security特性,但是不具有append和raid功能。 0.20-append具有a...【阅读全文】
圣剑蓝骑士 | 2013-07-31 11:33:52 | 阅读(720) | 评论(0)
刚看到Hadoop序列化这一概念时,想不通为什么要序列化。因为之前一直用C, C语言中,网络两端通信或者读写文件,完全没关注过序列化这个概念。我想可能是因为C中每次使用的变量都有明确的类型定义,不需要这样明确地把序列化的概念提出来,C库中将这一过程实现了(这是我的猜想 因为看到有些C程序 使用int型变量并不是直...【阅读全文】
圣剑蓝骑士 | 2013-07-31 11:32:58 | 阅读(860) | 评论(0)
看过很多Hadoop介绍或者是学习的帖子和文章,发现介绍Hadoop I/O系统的很少。很多文章都会介绍HDFS的架构和使用,还有MapReduce编程等等。尤其是在介绍Hadoop的MapReduce编程之前,首 先必须了解下Hadoop的I/O知识,要不一看到IntWritable、LongWritable、Text、NullWritable等概念就有点 犯晕,看到和普通的Java程序类似的...【阅读全文】
pus2bra121 | 2013-07-31 09:19:10 | 阅读(490) | 评论(0)
Hadoop相疑年夜家应当有所体会,那末如何正在Hadoop成立Hbase表呢,这里和年夜家分享一下,希望经由过程本文的先容年夜家能够把握正在Hadoop成立Hbase表的法子。AD:正在进建Hadoop的过程中,你年夜概会碰到正在Hadoop成立Hbase表的成绩,本节和年夜家先容一下,悲迎年夜家一起往进改正在Hadoop成立Hbase表的法子。正在H...【阅读全文】
berlin493 | 2013-07-30 18:17:13 | 阅读(0) | 评论(0)
Hadoop回收站trash,默认是关闭的。 习惯了window的同学,建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了本文转载http://running.iteye.com/blog/904536NOTE:    数据被删除后会在/user/$user/.Trash完整路径显示删除目录。但是有一个小缺陷就是trash只针对系统用户,(比如root,...【阅读全文】
【LINUX】 hadoop集群配置
zhengnx | 2013-07-27 20:29:52 | 阅读(3630) | 评论(1)