搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：网络安全 H3C cISCO PHP 数据库 LINUX WINDOWS 信息

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 361 条

【HADOOP】 Hadoop集群完全分布式模式环境部署

jelon521 | 2016-03-15 15:58:04 | 阅读(2150) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

【HADOOP】 Hadoop NameNode 高可用 (High Availability) 实现解析

speckle | 2016-03-01 08:23:49 | 阅读(2280) | 评论(0)

Hadoop NameNode HA【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

hackeruncle | 2016-02-25 16:37:00 | 阅读(2550) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop监控页面查看Hive的完整SQL

levy-linux | 2016-02-18 09:34:02 | 阅读(4170) | 评论(0)

想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History），进入到MapReduce Job job_1409xxxx，Job页面2、点击左侧的Config...【阅读全文】

【HADOOP】 Ubuntu安装Hadoop进行namenode格式化出现Format aborted in path

神域风云再起 | 2016-02-11 16:26:22 | 阅读(1660) | 评论(0)

在使用hadoop namenode -format进行namenode的格式化时候，出现错误Format aborted in path出现错误的原因是：在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在（hdfs-site.xml文件）。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法：关闭hadoop服务将上面参数指定的文件夹删除，...【阅读全文】

【HADOOP】 hadoop节点一块硬盘故障更换方法

levy-linux | 2016-01-20 10:46:13 | 阅读(5100) | 评论(0)

hadoop节点服务器的一块硬盘出现物理故障，需要更换，将节点的服务停止，暂时不提供服务，将故障更换了，新盘格式化，fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化：mkfs.ext4 /dev/sde1挂载硬盘：mount /dev/sde /data2正常启动datanode服务，但是报错，如下：...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

h136919934 | 2016-01-18 20:14:30 | 阅读(790) | 评论(0)

【HADOOP】 hadoop强制进行Active/Standby切换需要注意的问题

levy-linux | 2016-01-13 15:29:57 | 阅读(8590) | 评论(0)

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...【阅读全文】

【HADOOP】 hadoop job报错is running beyond physical memory limits

levy-linux | 2015-12-30 15:25:02 | 阅读(15010) | 评论(0)

跑job 的时候发现如下错误，Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456...【阅读全文】

【HADOOP】 Python+Hadoop Streaming实现MapReduce（word count）

cokeboL | 2015-12-25 15:08:30 | 阅读(0) | 评论(0)

from：http://blog.csdn.net/jthink_/article/details/42745699参考：http://blog.csdn.net/jthink_/article/details/41016909 http://blog.csdn.net/jthink_/article/details/427463971. hadoop本身是用java写的，所以用java写mapreduce是比较合适的，...【阅读全文】

【HADOOP】使用docker搭建hadoop-spark环境

cokeboL | 2015-12-23 13:29:36 | 阅读(3460) | 评论(0)

1.安装ubuntu-server14.042.ubuntu-server14.04安装docker sudo apt-get install docker-io3.pull hadoop-docker???? docker pull sequenceiq/hadoop-docker:2.7.1 docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash 参考 https://github.com/sequenceiq/hadoop-d...【阅读全文】

【HADOOP】 Hadoop平台关闭THP解决服务器高负载问题

levy-linux | 2015-12-23 11:12:05 | 阅读(3540) | 评论(0)

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官...【阅读全文】

【HADOOP】部署Hadoop集群的步骤

yejuanbai | 2015-12-16 17:25:07 | 阅读(330) | 评论(0)

Hadoop集群的部署方法简介，以Suse11为操作系统的Hadoop集群搭建实例。【阅读全文】

【HADOOP】 Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…

levy-linux | 2015-12-12 18:29:44 | 阅读(4070) | 评论(0)

Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach...【阅读全文】

【HADOOP】 hadoop Unhealthy Nodes问题解决

levy-linux | 2015-12-10 11:52:00 | 阅读(5470) | 评论(0)

1、问题前几天因为一个hive SQL的问题，导致其中很多节点机器的磁盘空间不足，job执行结束后，临时文件删除解决了空间不足的问题；查看http://hostname:8088/cluster/nodes发现出现了一个unhealty节点，错误信息如下1/4 local-dirs turned bad: /data1/hadoop/yarn/local;1/4 log-dirs turned bad: /data1/hadoop/yarn/...【阅读全文】

【HADOOP】【亲测好用】centos 安装hadoop 教程

jackson1668 | 2015-11-27 14:29:03 | 阅读(1470) | 评论(0)

1、集群部署介绍 1.1 Hadoop简介　　 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统...【阅读全文】

【HADOOP】编译hadoop的libhdfs.a

Aquester | 2015-11-27 10:44:44 | 阅读(4300) | 评论(0)

进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i...【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

Aquester | 2015-11-25 09:10:43 | 阅读(7080) | 评论(1)

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - Hadoop安装

niao5929 | 2015-11-17 12:51:52 | 阅读(1400) | 评论(0)

Hadoop企业级集群架构 - Hadoop安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - Hadoop安装1. 在h1.hadoop上解压并配置hadoop-2.5.22. 在hadoop安装目录下，创建tmp,data...【阅读全文】

【HADOOP】 Hadoop企业级集群架构 - NFS安装

niao5929 | 2015-11-17 12:50:21 | 阅读(1210) | 评论(0)

Hadoop企业级集群架构 - NFS安装[日期：2015-11-16]来源：Linux社区作者：chujq[字体：大中小]Hadoop企业级集群架构 - NFS安装服务器地址：192.168.1.230 安装NFS软件检查nfs是否安装完成...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务