Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1179405
  • 博文数量: 259
  • 博客积分: 10
  • 博客等级: 民兵
  • 技术积分: 2518
  • 用 户 组: 普通用户
  • 注册时间: 2012-10-13 16:12
个人简介

科技改变世界,技术改变人生。

文章分类

全部博文(259)

发布时间:2016-03-23 18:21:25

hadoop集群主Namenode突然停止,报错如下:2016-03-23 17:12:25,877 INFO  namenode.FSEditLog (FSEditLog.java:endCurrentLogSegment(1153)) - Ending log segment 5741443422016-03-23 17:12:26,350 WARN  client.QuorumJournalManager (QuorumCall.java:waitFor(134)) - Waited 19047 ms (timeout=20000 ms).........【阅读全文】

阅读(6150) | 评论(0) | 转发(0)

发布时间:2016-03-23 10:43:40

azkaban运行任务的时候失败报错如下:23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x23-03-2016 .........【阅读全文】

阅读(11715) | 评论(0) | 转发(0)

发布时间:2016-03-17 17:42:57

hadoop之steaming介绍hadoop有个工具叫做steaming,能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言,其运行原理可以通过和标准java的map-reduce程序对比来说明:使用原生java语言实现Map-reduce程序    hadoop准备好数据后,将数据传送给java的map程序 &nbs.........【阅读全文】

阅读(2715) | 评论(0) | 转发(0)

发布时间:2016-03-11 11:02:50

HDP2.4版本安装启动后nodemanager报错,无法启动,查看日志发现,2016-03-11 10:51:23,638 FATAL nodemanager.NodeManager (NodeManager.java:initAndStartNodeManager(540)) - Error starting NodeManagerjava.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apac.........【阅读全文】

阅读(8117) | 评论(0) | 转发(0)

发布时间:2016-02-18 09:34:02

想看看执行的hive job提交了什么语句,有没有方法从hadoop job监控页面查看?方法如下,这里看到简单的一段SQL,几乎看不出具体在执行什么任务。1、点开一个application,点击Tracking URL: ApplicationMaster 或者 History(历史任务显示History),进入到MapReduce Job job_1409xxxx,Job页面2、点击左侧的Config.........【阅读全文】

阅读(4143) | 评论(0) | 转发(0)

发布时间:2016-02-16 16:08:21

使用LZO过程会发现它有两种压缩编码可以使用,即LzoCodec和LzopCodec,下面说说它们区别:LzoCodec比LzopCodec更快, LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息如果使用 LzoCodec作为Reduce输出,则输出文件扩展名为".lzo_deflate",它无法被lzop读取;如果使用LzopCodec作为Reduce.........【阅读全文】

阅读(2419) | 评论(0) | 转发(0)

发布时间:2016-01-20 10:46:13

hadoop节点服务器的一块硬盘出现物理故障,需要更换,将节点的服务停止,暂时不提供服务,将故障更换了,新盘格式化,fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化:mkfs.ext4 /dev/sde1挂载硬盘:mount /dev/sde /data2正常启动datanode服务,但是报错,如下:.........【阅读全文】

阅读(5064) | 评论(0) | 转发(0)

发布时间:2016-01-13 15:29:57

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是,这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的,提示信息里只说了可以强制执行,但是没有提供命令,其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar.........【阅读全文】

阅读(8552) | 评论(0) | 转发(0)

发布时间:2015-12-30 15:25:02

跑job 的时候发现如下错误,Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456.........【阅读全文】

阅读(14990) | 评论(0) | 转发(0)

发布时间:2015-12-23 11:12:05

Ambari和CM管理平台都提示,建议关闭THP,这是为什么?如果不关闭THP,发现Hadoop的系统态CPU使用率很高,原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官.........【阅读全文】

阅读(3529) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册