按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2195
simiaoxiaoseng | 2015-12-25 09:16:38 | 阅读(620) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:33 | 阅读(490) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:28 | 阅读(480) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
suiming2005 | 2015-12-24 09:18:22 | 阅读(450) | 评论(0)
cokeboL | 2015-12-23 13:29:36 | 阅读(1080) | 评论(0)
1.安装ubuntu-server14.042.ubuntu-server14.04安装docker  sudo apt-get install docker-io3.pull hadoop-docker????  docker pull sequenceiq/hadoop-docker:2.7.1  docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash  参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】
levy-linux | 2015-12-23 11:12:05 | 阅读(1620) | 评论(0)
Ambari和CM管理平台都提示,建议关闭THP,这是为什么?如果不关闭THP,发现Hadoop的系统态CPU使用率很高,原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官...【阅读全文】
杰华园 | 2015-12-17 09:35:29 | 阅读(60) | 评论(0)
Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具。一般来说我们对Hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,这样的模式用来做一些测试比较合适,并不适合做产品的开发和应用。因此,就产生了Hive的JDBC连接的方式。本文介绍报表开发工具FineReport中,hadoop、hive数据库连接方法。【阅读全文】
yejuanbai | 2015-12-16 17:25:07 | 阅读(60) | 评论(0)
Hadoop集群的部署方法简介,以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】
【数据库开发技术】 hadoop install
yangmin24 | 2015-12-15 17:12:10 | 阅读(0) | 评论(0)
http://www.tutorialspoint.com/hadoop/hadoop_multi_node_cluster.htm【阅读全文】
levy-linux | 2015-12-12 18:29:44 | 阅读(780) | 评论(0)
Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach...【阅读全文】
levy-linux | 2015-12-10 11:52:00 | 阅读(2920) | 评论(0)
1、问题前几天因为一个hive SQL的问题,导致其中很多节点机器的磁盘空间不足,job执行结束后,临时文件删除解决了空间不足的问题;查看http://hostname:8088/cluster/nodes发现出现了一个unhealty节点,错误信息如下1/4 local-dirs turned bad: /data1/hadoop/yarn/local;1/4 log-dirs turned bad: /data1/hadoop/yarn/...【阅读全文】
oracle_ren | 2015-12-09 12:17:23 | 阅读(910) | 评论(0)
Hadoop迁移工具对比【阅读全文】
oracle_ren | 2015-12-09 11:59:26 | 阅读(810) | 评论(0)
Hadoop 迁移【阅读全文】
jackson1668 | 2015-11-27 14:29:03 | 阅读(160) | 评论(0)
1、集群部署介绍 1.1 Hadoop简介          Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统...【阅读全文】
Aquester | 2015-11-27 10:44:44 | 阅读(1420) | 评论(0)
进入hadoop-hdfs-project/hadoop-hdfs/src目录,执行cmake以生成Makefile文件。如果遇到如下的错误:~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i...【阅读全文】
levy-linux | 2015-11-25 11:14:59 | 阅读(490) | 评论(0)
Hadoop 1.x中fsimage和edits合并实现用过Hadoop的用户应该都知道在Hadoop里面有个SecondaryNamenode进程,从名字看来大家很容易将它当作NameNode的热备进程。其实真实的情况不是这样的。SecondaryNamenode是HDFS架构中的一个组成部分,它是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间而设...【阅读全文】
Aquester | 2015-11-25 09:10:43 | 阅读(3500) | 评论(1)
目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】
niao5929 | 2015-11-23 07:46:53 | 阅读(520) | 评论(0)
Hadoop的namenode做NFS灾备[日期:2015-11-21]来源:www.jianshu.com  作者:hogface[字体:大 中 小]1.首先选定一台灾备机器作为NFS服务器(1)安装如下:apt-get install nfs-kernel-server  (NFS服务器,提供nf...【阅读全文】
【LINUX】 Hadoop VS Spark
niao5929 | 2015-11-23 07:45:52 | 阅读(530) | 评论(0)
Hadoop VS Spark[日期:2015-11-21]来源:jianshu.com  作者:hogface[字体:大 中 小]Hadoop就是解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。HDFS,在由普通PC组成...【阅读全文】
niao5929 | 2015-11-17 12:51:52 | 阅读(500) | 评论(0)
Hadoop企业级集群架构 - Hadoop安装[日期:2015-11-16]来源:Linux社区  作者:chujq[字体:大 中 小]Hadoop企业级集群架构 - Hadoop安装1. 在h1.hadoop上解压并配置hadoop-2.5.22. 在hadoop安装目录下,创建tmp,data...【阅读全文】