按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2200
levy-linux | 2015-12-30 15:25:02 | 阅读(6760) | 评论(0)
跑job 的时候发现如下错误,Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456...【阅读全文】
cokeboL | 2015-12-25 15:08:30 | 阅读(0) | 评论(0)
from:http://blog.csdn.net/jthink_/article/details/42745699参考:http://blog.csdn.net/jthink_/article/details/41016909           http://blog.csdn.net/jthink_/article/details/427463971. hadoop本身是用java写的,所以用java写mapreduce是比较合适的,...【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:39 | 阅读(660) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:39 | 阅读(660) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:38 | 阅读(560) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:38 | 阅读(620) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:33 | 阅读(490) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
simiaoxiaoseng | 2015-12-25 09:16:28 | 阅读(480) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
suiming2005 | 2015-12-24 09:18:22 | 阅读(450) | 评论(0)
cokeboL | 2015-12-23 13:29:36 | 阅读(1140) | 评论(0)
1.安装ubuntu-server14.042.ubuntu-server14.04安装docker  sudo apt-get install docker-io3.pull hadoop-docker????  docker pull sequenceiq/hadoop-docker:2.7.1  docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash  参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】
levy-linux | 2015-12-23 11:12:05 | 阅读(1630) | 评论(0)
Ambari和CM管理平台都提示,建议关闭THP,这是为什么?如果不关闭THP,发现Hadoop的系统态CPU使用率很高,原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官...【阅读全文】
杰华园 | 2015-12-17 09:35:29 | 阅读(60) | 评论(0)
Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具。一般来说我们对Hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,这样的模式用来做一些测试比较合适,并不适合做产品的开发和应用。因此,就产生了Hive的JDBC连接的方式。本文介绍报表开发工具FineReport中,hadoop、hive数据库连接方法。【阅读全文】
yejuanbai | 2015-12-16 17:25:07 | 阅读(60) | 评论(0)
Hadoop集群的部署方法简介,以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】
【数据库开发技术】 hadoop install
yangmin24 | 2015-12-15 17:12:10 | 阅读(0) | 评论(0)
http://www.tutorialspoint.com/hadoop/hadoop_multi_node_cluster.htm【阅读全文】
levy-linux | 2015-12-12 18:29:44 | 阅读(810) | 评论(0)
Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach...【阅读全文】
levy-linux | 2015-12-10 11:52:00 | 阅读(3080) | 评论(0)
1、问题前几天因为一个hive SQL的问题,导致其中很多节点机器的磁盘空间不足,job执行结束后,临时文件删除解决了空间不足的问题;查看http://hostname:8088/cluster/nodes发现出现了一个unhealty节点,错误信息如下1/4 local-dirs turned bad: /data1/hadoop/yarn/local;1/4 log-dirs turned bad: /data1/hadoop/yarn/...【阅读全文】
oracle_ren | 2015-12-09 12:17:23 | 阅读(930) | 评论(0)
Hadoop迁移工具对比【阅读全文】
oracle_ren | 2015-12-09 11:59:26 | 阅读(810) | 评论(0)
Hadoop 迁移【阅读全文】
jackson1668 | 2015-11-27 14:29:03 | 阅读(160) | 评论(0)
1、集群部署介绍 1.1 Hadoop简介          Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统...【阅读全文】
Aquester | 2015-11-27 10:44:44 | 阅读(1420) | 评论(0)
进入hadoop-hdfs-project/hadoop-hdfs/src目录,执行cmake以生成Makefile文件。如果遇到如下的错误:~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i...【阅读全文】