按类别查询搜索结果
关于关键词 的检测结果,共 1134
xiong9937 | 2015-02-10 11:19:38 | 阅读(790) | 评论(0)
【服务器与存储】 Hadoop之RPC概述
xiong9937 | 2015-02-10 11:06:43 | 阅读(680) | 评论(0)
【服务器与存储】 Hadoop之RPC架构分析
xiong9937 | 2015-02-10 11:05:28 | 阅读(950) | 评论(0)
LinBingLinux | 2015-02-10 10:57:37 | 阅读(2600) | 评论(0)
点击(此处)折叠或打开package org.apache.hadoop.test;import java.io.IOException;import org.apache.hadoop.conf.Configurable;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;i...【阅读全文】
【LINUX】 hadoop命令大全
LinBingLinux | 2015-02-10 10:51:07 | 阅读(1960) | 评论(0)
注意,操作的时候一定要跟上路径,比如在跟路径下的文件就要写成/test.txt,------------------------------------------------------------------------一下是hadoop fs的操作1、查看hadoop fs -ls /testhadoop fs -lsr /test查看该目录下的所有文件hadoop fs -cat /test.txt查看里面的内容...【阅读全文】
xiong9937 | 2015-02-05 22:04:16 | 阅读(720) | 评论(0)
ningbohezhijun | 2015-02-04 17:41:34 | 阅读(550) | 评论(0)
我是在试验代码的时候发现的这个问题,具体代码见http://yunpan.cn/cK8hUEaq4Vcw2  访问密码 56d3例如类KPIBrowser和KPIIP的输出都恰巧放在了输入的文件夹下。然后我发现当我先运行KPIBrowser后,再去运行KPIIP,hadoop就跑异常了目前不太明白为什么。暂时的解释是,hadoop输入文件夹下必须都是文件,有文件...【阅读全文】
IT王大王 | 2015-02-04 15:23:30 | 阅读(530) | 评论(0)
实现真正的分布式的hadoop,并不是伪分布式的。一、系统与配置 共准备2台机器搭建Hadoop集群。基于Ubuntu14.04,jdk1.6.0_45,Hadoop1.0.3版本,虚拟机使用VMware10.0192.168.1.10 NameNode master (master)192.168.1.20 DateNode slave1(Slave)我的用户名就hadoo...【阅读全文】
gzzc020 | 2015-01-31 19:12:29 | 阅读(140) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
【系统运维】 Ubuntu下配置Hadoop环境
niao5929 | 2015-01-31 08:24:07 | 阅读(970) | 评论(0)
Ubuntu下配置Hadoop环境[日期:2015-01-29]来源:Linux社区  作者:a296777513[字体:大 中 小]Ubuntu下配置Hadoop环境,实现真正的分布式的Hadoop,并不是伪分布式的。一、系统与配置共准备2台机器搭建Hadoop集群。...【阅读全文】
niao5929 | 2015-01-25 14:33:00 | 阅读(780) | 评论(0)
Hadoop-2.4.1完全分布式环境搭建[日期:2015-01-25]来源:Linux社区  作者:demo111[字体:大 中 小]一、配置步骤如下:1.主机环境搭建,这里是使用了5台虚拟机,在Ubuntu 13系统上进行搭建Hadoop环境。2.创建hadoop...【阅读全文】
willick | 2015-01-20 16:47:39 | 阅读(0) | 评论(0)
之前都是用root运行的,但是现在必须要解决这个问题。hdfs的权限判断十分简单,就是拿发出指令的user name和文件的user name 做比较  private void check(INode inode, FsAction access      ) throws AccessControlException {   &nb...【阅读全文】
【云计算】 Hadoop ZooKeeper 原理
huaius | 2015-01-14 23:35:07 | 阅读(2020) | 评论(0)
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有...【阅读全文】
浮零 | 2015-01-14 19:05:06 | 阅读(270) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
【服务器与存储】 【原创】hadoop集群搭建
浮零 | 2015-01-14 19:03:41 | 阅读(370) | 评论(0)
首先确定hdfs分布式文件系统目前很多大公司都在用,例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档,我写这篇文章只是为了自己更加深刻的学习和理解,或者帮助一些不会搭建的童鞋们!有问题请加群234086986讨论!以前我搭建的是hadoop-0.20.2、hbase-0.90.4、hbase自带的zookeeper,但是经过与开发测试后,用...【阅读全文】
心跳男人 | 2015-01-14 10:09:32 | 阅读(570) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
ahmmh | 2015-01-12 11:24:42 | 阅读(480) | 评论(0)
作者:二青邮箱:xtfggef@gmail.com     微博: http://weibo.com/xtfggef现在开始要系统地学习下Hadoop了,虽然可能有点儿晚,但是还是想好好学习一下这门火爆的技术,让我们从安装环境开始。 官方文档本文使用的个软件及版本如下:Ubuntu 14.10...【阅读全文】
ahmmh | 2015-01-12 11:14:49 | 阅读(750) | 评论(0)
小编写在前面的话“天下武功,唯快不破”,但是如果不清楚原理,快也是徒劳。在这物欲横行,数据爆炸的年代,BigData时代到了,如果熟悉了整个hadoop的搭建过程,我们是否也能从中攫取一桶金?!前期准备l  两台linux虚拟机(本文使用redhat5,IP分别为 192.168.1.210、192.168.1.211)l  JDK...【阅读全文】
非自愿精神病 | 2015-01-11 17:01:04 | 阅读(2080) | 评论(0)
1.测试目标检验在局域网环境下的hadoop平台与广域网环境下通过VPN组建的hadoop平台在处理性能上的差异。实际上检测网络通信情况,通过hadoop的terasort示例工具来做排序的压力测试,通过对比排序所用时间来确定差异。2.测试环境hadoop-1.0.0三台vmware下的ubuntu12.04,一台为Master,两台为Slave。3.实验步骤A....【阅读全文】
非自愿精神病 | 2015-01-09 12:58:28 | 阅读(2990) | 评论(0)
1TB(或1分钟)排序的冠军 作为分布式数据处理的框架,集群的数据处理能力究竟有多快?或许1TB排序可以作为衡量的标准之一。 1TB排序,就是对1TB(1024GB,大约100亿行数据)的数据进行排序。2008年,Hadoop赢得1TB排序基准评估第一名,排序1TB数据耗时209秒。后来,1TB排序被1分钟排序所取代,1分钟排序指的...【阅读全文】