搜索博文结果_ChinaUnix博客

Aquester | 2017-05-19 09:29:25 | 阅读(3860) | 评论(0)

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != ...【阅读全文】

【HADOOP】 hive job 提示Invalid sync和无法分配内存报错处理

levy-linux | 2015-12-29 11:48:29 | 阅读(3850) | 评论(0)

近期发现分析部门同事告知，hive处理原始数据的时候总是不能执行完成，报错如下，这个问题是avro的文件不完整：Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync! &n...【阅读全文】

【HADOOP】 hive 结合执行计划分析 limit 执行原理

Helianthus_lu | 2015-10-16 23:36:30 | 阅读(6040) | 评论(0)

hive计划执行【阅读全文】

【HADOOP】 Datanode节点一块硬盘故障处理

levy-linux | 2015-10-11 15:26:29 | 阅读(6310) | 评论(0)

今天一台服务器 datanode服务自动停止了，查看datanode log发现如下报错：

org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 1, volumes configured: 2, volumes failed: 1, volume failures tolerated: 0

意思是volumes出现故...【阅读全文】

【HADOOP】 hdfs中Missing Block 的文件处理方法

levy-linux | 2015-08-28 19:55:50 | 阅读(7300) | 评论(0)

今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息：<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】

【HADOOP】 hadoop测试群集机房断电宕机处理

levy-linux | 2015-08-17 16:19:42 | 阅读(1660) | 评论(0)

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完...【阅读全文】

【HADOOP】使用Maven构建hadoop项目

levy-linux | 2015-07-15 15:05:54 | 阅读(2910) | 评论(0)

一. Maven介绍
Apache Maven，是一个Java的项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。

Windows 7
hadoop 1.2.1
Maven 3.3....【阅读全文】

【HADOOP】 HBase分布式数据库管理常用shell命令

douyaqiang123 | 2015-06-30 16:39:05 | 阅读(1960) | 评论(0)

HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统，MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。【阅读全文】

【HADOOP】合理设计及优化HBase数据库表入门

douyaqiang123 | 2015-06-30 16:38:43 | 阅读(1970) | 评论(0)

在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK，废话不再多说，接下来我们进入今天的正题吧~【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

GiserHu | 2015-06-29 20:35:53 | 阅读(560) | 评论(0)