发布时间：2016-03-23 18:21:25

hadoop集群主Namenode突然停止，报错如下：2016-03-23 17:12:25,877 INFO  namenode.FSEditLog (FSEditLog.java:endCurrentLogSegment(1153)) - Ending log segment 5741443422016-03-23 17:12:26,350 WARN  client.QuorumJournalManager (QuorumCall.java:waitFor(134)) - Waited 19047 ms (timeout=20000 ms).........【阅读全文】

发布时间：2016-03-23 10:43:40

azkaban运行任务的时候失败报错如下：23-03-2016 08:16:14 CST analyzer-kafka2hdfs_new ERROR - Exception in thread "main" org.apache.hive.service.cli.HiveSQLException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x23-03-2016 .........【阅读全文】

发布时间：2016-03-17 17:42:57

hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce程序    hadoop准备好数据后，将数据传送给java的map程序 &nbs.........【阅读全文】

发布时间：2016-03-11 11:02:50

HDP2.4版本安装启动后nodemanager报错，无法启动，查看日志发现，2016-03-11 10:51:23,638 FATAL nodemanager.NodeManager (NodeManager.java:initAndStartNodeManager(540)) - Error starting NodeManagerjava.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apac.........【阅读全文】

发布时间：2016-02-18 09:34:02

想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History），进入到MapReduce Job job_1409xxxx，Job页面2、点击左侧的Config.........【阅读全文】

发布时间：2016-02-16 16:08:21

使用LZO过程会发现它有两种压缩编码可以使用，即LzoCodec和LzopCodec，下面说说它们区别：LzoCodec比LzopCodec更快， LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息如果使用 LzoCodec作为Reduce输出，则输出文件扩展名为".lzo_deflate"，它无法被lzop读取；如果使用LzopCodec作为Reduce.........【阅读全文】

发布时间：2016-01-20 10:46:13

hadoop节点服务器的一块硬盘出现物理故障，需要更换，将节点的服务停止，暂时不提供服务，将故障更换了，新盘格式化，fdisk -l新的2T盘为/dev/sdeparted -s /dev/sde mklabel gpt mkpart primary 0% 100%格式化：mkfs.ext4 /dev/sde1挂载硬盘：mount /dev/sde /data2正常启动datanode服务，但是报错，如下：.........【阅读全文】

发布时间：2016-01-13 15:29:57

NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是，这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的，提示信息里只说了可以强制执行，但是没有提供命令，其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar.........【阅读全文】

发布时间：2015-12-30 15:25:02

跑job 的时候发现如下错误，Container [pid=41355,containerID=container_1451456053773_0001_01_000002] is running beyond physical memory limits. Current usage: 2.0 GB of 2 GB physical memory used; 5.2 GB of 4.2 GB virtual memory used. Killing container. Dump of the process-tree for container_1451456.........【阅读全文】

发布时间：2015-12-23 11:12:05

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官.........【阅读全文】