按类别查询搜索结果
关于关键词 的检测结果,共 361
【HADOOP】 Spark VS Hadoop
xuemling | 2015-08-14 16:29:23 | 阅读(1460) | 评论(0)
Spark VS Hadoop【阅读全文】
安浪天 | 2015-08-12 11:04:27 | 阅读(1260) | 评论(0)
问题:hadoop安装完以后,经常会提示一下警告:<br /><span style="color:#E53333;">WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable</span><br />原因:这是32位的hadoop,安装在了64位的linux系统上<br />解决办法:<br />&nbs...【阅读全文】
安浪天 | 2015-08-11 15:07:20 | 阅读(990) | 评论(0)
说明:系统为centos6.5、jdk版本为1.7、Hadoop版本为2.7.红色字体为输入内容,紫色字体为路径及注意<strong><br />一、jdk安装<br /></strong>1、安装jdk1.7<br />&nbsp; &nbsp; <span style="color:#E53333;">rpm -ivh jdk-7u79-linux-x64.rpm</span><br /><div>2、配置环境变量 &nbsp;&nbsp;&nbsp;在/etc/profile文...【阅读全文】
xuemling | 2015-08-11 10:36:23 | 阅读(2870) | 评论(0)
HadoopHA【一】 hadoop配置文件详解【阅读全文】
dsy851009 | 2015-08-08 21:48:36 | 阅读(3140) | 评论(0)
本来想着很简单的一个安装,结果花费了一天时间才搞定,中间遇到很多问题,最终安装成功,记录下。
安装步骤简单说下(网上有很多安装详细步骤,这里不详细说明,主要是中间的问题解决):
一、安装jdk1.7,配置环境变量;
二、下载cygwin并安装,记得记得选择openssh包的安装;
三、配置ssh;【阅读全文】
levy-linux | 2015-08-06 18:12:31 | 阅读(1580) | 评论(0)
我们有一个Hadoop集群从上个月开始遇到一系列性能问题,在逐一解决的过程中,积累了以下的优化经验。<br /><br />1. 网络带宽<br /><br />Hadoop集群的服务器在规划时就在统一的交换机下,这是在官方文档中建议的部署方式。<br /><br />但是我们的这台交换机和其他交换机的互联带宽有限,所以在客户端遇到了HDFS访问...【阅读全文】
levy-linux | 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)
添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上,启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】
dirk2014 | 2015-08-06 13:30:13 | 阅读(590) | 评论(0)
一、简介        Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。图1 Hadoop主要项目 &...【阅读全文】
dirk2014 | 2015-08-06 13:27:27 | 阅读(540) | 评论(0)
   由于手头项目的原因,需要在Hadoop框架之上架设运行Sleuthkit,虽然说是完成项目,自己希望每次参与项目知识结构或者思考方法都能有所提升。这次项目自己希望可以对现在流行的Hadoop框架和取证工具Sleuthkit有所积累。   Hadoop用于架设分布式系统。一般来说,实现多个系统并行计算需要考虑许多细...【阅读全文】
dirk2014 | 2015-08-06 13:22:00 | 阅读(480) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
dirk2014 | 2015-08-06 13:17:12 | 阅读(660) | 评论(0)
在ubuntu上将hadoop安装及配置完毕后,接下来的工作就是在eclipse下配置开发hadoop应用程序的环境。目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。环境:virtualbox  和  ubuntu12.04第一步:下载eclipse-jee-juno-SR1-linux-gtk.tar.gz.     注...【阅读全文】
plumxx99 | 2015-07-17 21:18:10 | 阅读(2680) | 评论(0)
实验环境:
rhel6.3 selinux and iptables disabled, sshd enabled
主机:192.168.122.5     master
            192.168.122.6     slave
        &nbs...【阅读全文】
levy-linux | 2015-07-15 16:08:39 | 阅读(2230) | 评论(0)
现象:在访问Master:50070之后,点击browse the filesystem后,该页无法显示。<br /><br />原因:点击browse the filesystem后,网页转向的地址用的是hadoop集群的某一个datanode的主机名,由于客户端的浏览器无法解析这个主机名,因此该页无法显示。<br /><br />解决:需要在客户端的hosts文件里加入hadoop集群的ip地...【阅读全文】
levy-linux | 2015-07-15 15:05:54 | 阅读(2920) | 评论(0)
一. Maven介绍
Apache Maven,是一个Java的项目管理及自动构建工具,由Apache软件基金会所提供。基于项目对象模型(缩写:POM)概念,Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目,现为独立Apache项目。

Windows 7
hadoop 1.2.1
Maven 3.3....【阅读全文】
马伟东 | 2015-07-15 14:19:19 | 阅读(2230) | 评论(0)
今天来补记下上周四、五的情况吧。由于fsrip的源码使用CPP写的,而自己对于面向对象实在外行的可以,于是用了约三天的时间来学习《Essentiao C++》,希望可以快速上手。最后对于面向对象的概念和语法都有了大致的了解,于是就开始查找之前的calng++编译错误,提示GetLastError()函数没有定义的问题。     ...【阅读全文】
levy-linux | 2015-07-14 17:12:24 | 阅读(2100) | 评论(0)
WordCount程序 在 hadoop1.2.1 测试成功。<br /><br /><br /><div><div class="codeheads"><p>点击(<span style="cursor:pointer;color:red;" onclick="code_hide('code705')">此处</span>)折叠或打开</p></div><div id="code705" class="codeText"><ol style="margin:0 1px 0 0px;padding-left:40px...【阅读全文】
levy-linux | 2015-07-07 13:03:49 | 阅读(2230) | 评论(0)
hadoop-mapreduce-examples-2.7.0.jar包<br />直接解压,看到下面内容:<br /><img src="/attachment/201507/7/25691489_1436245262vVnV.jpg" alt="" height="504" width="579" /><br />上面是编译的文件。我们该如何看到源码<br /><br />我们下载jad<br /><br /><a href="/blog/downLoad/fileid/11510.html" target...【阅读全文】
CuteB | 2015-07-06 19:45:46 | 阅读(1280) | 评论(0)
<img src="/attachment/201507/6/30328933_1436181178ruxf.jpg" width="700" height="412.182741117" alt="" /><br />1.关闭防火墙:<br />service iptables stop<br />vim /etc/sysconfig/selinux 设置SELINUX=disabled<br />2.设置静态ip地址:<br />vim /etc/sysconfig/neywork -scripts/ifcfg-eth0<br />3.修改ho...【阅读全文】
CuteB | 2015-07-06 18:46:48 | 阅读(1450) | 评论(0)
1. /opt &nbsp; &nbsp; &nbsp; &nbsp; 父目录<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; /opt/modules &nbsp; 存放软件的安装目录<br />&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;...【阅读全文】
CuteB | 2015-07-06 14:18:35 | 阅读(1290) | 评论(0)
1.对于分布式系统和框架的架构来说,一般分为两部分:<br />第一部分:管理层,用于管理应用层的<br />第二部分:应用层(工作的)<br />NameNode(元数据服务器)<br />Secondary NameNode(辅助元数据服务器)<br />JobTracker(任务调度员)<br />DataNodes(块存储) &nbsp; &nbsp;TaskTracker(任务执行)<br /><br />HD...【阅读全文】