ChinaUnix首页
|
论坛
|
博客
博客首页
博客专家
往日推荐
博客文集
博文
博主
热搜:
iOS
服务器
.net
C语言
嵌入式
WINDOWS
虚拟化
FTP
博客首页 〉
搜索结果
按类别查询搜索结果
操作系统
程序设计
数据库
热点技术
综合
架构与运维
移动开发与应用
Web前端
LINUX
|
BSD
|
WINDOWS
|
其他UNIX
|
AIX
|
SOLARIS
|
C/C++
|
Java
|
Python/Ruby
|
项目管理
|
Web开发
|
嵌入式
|
C#/.net
|
PHP
|
Delphi
|
PERL
|
Erlang
|
Verilog
|
敏捷开发
|
Mysql/postgreSQL
|
Oracle
|
DB2/Informix
|
Sybase
|
数据库开发技术
|
SQLite/嵌入式数据库
|
SQLServer
|
NOSQL
|
虚拟化
|
云计算
|
大数据
|
HADOOP
|
高性能计算
|
IT业界
|
IT职场
|
信息化
|
网络与安全
|
系统运维
|
服务器与存储
|
架构设计与优化
|
Android平台
|
iOS平台
|
Windows平台
|
其他平台
|
Html/Css
|
JavaScript
|
jQuery
|
HTML5
|
关于关键词 的检测结果,共
51
条
【HADOOP】
HDFS块文件和存放
目
录的关系
Aquester
| 2017-05-19 09:29:25 | 阅读(3860) | 评论(0)
详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下,则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != ...
【阅读全文】
【HADOOP】
hive job 提示Invalid sync和 无法分配内存 报错处
理
levy-linux
| 2015-12-29 11:48:29 | 阅读(3850) | 评论(0)
近期发现分析部门同事告知,hive处理原始数据的时候总是不能执行完成,报错如下,这个问题是avro的文件不完整:Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync! &n...
【阅读全文】
【HADOOP】
hive 结合执行计划 分析 limit 执行原
理
Helianthus_lu
| 2015-10-16 23:36:30 | 阅读(6040) | 评论(0)
hive计划执行
【阅读全文】
【HADOOP】
Datanode节点一块硬盘故障处
理
levy-linux
| 2015-10-11 15:26:29 | 阅读(6310) | 评论(0)
今天一台服务器 datanode服务自动停止了,查看datanode log发现如下报错:
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 1, volumes configured: 2, volumes failed: 1, volume failures tolerated: 0
意思是volumes出现故...
【阅读全文】
【HADOOP】
hdfs中Missing Block 的文件处
理
方法
levy-linux
| 2015-08-28 19:55:50 | 阅读(7300) | 评论(0)
今天巡检的时候发现很多Missing Block信息,大概有1千多个,基本上是error文件,我针对一个文件进行fsck,如下信息:<br /><br />[root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations<br />SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...
【阅读全文】
【HADOOP】
hadoop测试群集机房断电宕机处
理
levy-linux
| 2015-08-17 16:19:42 | 阅读(1660) | 评论(0)
由于公司机房异常断电,导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后,访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html
提示:
NameNode is still loading. Redirecting to the Startup Progress page.
这个不是错误。因为hadoop启动时,会进入安全模式进行自检,自检完...
【阅读全文】
【HADOOP】
使用Maven构建hadoop
项
目
levy-linux
| 2015-07-15 15:05:54 | 阅读(2910) | 评论(0)
一. Maven介绍
Apache Maven,是一个Java的项目管理及自动构建工具,由Apache软件基金会所提供。基于项目对象模型(缩写:POM)概念,Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目,现为独立Apache项目。
Windows 7
hadoop 1.2.1
Maven 3.3....
【阅读全文】
【HADOOP】
HBase分布式数据库
管
理
常用shell命令
douyaqiang123
| 2015-06-30 16:39:05 | 阅读(1960) | 评论(0)
HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统,MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family),列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。
【阅读全文】
【HADOOP】
合
理
设计及优化HBase数据库表入门
douyaqiang123
| 2015-06-30 16:38:43 | 阅读(1970) | 评论(0)
在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK,废话不再多说,接下来我们进入今天的正题吧~
【阅读全文】
【HADOOP】
大数据处
理
工具之Hive安装配置实践
GiserHu
| 2015-06-29 20:35:53 | 阅读(560) | 评论(0)
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,可通过它来检索Hadoop存储数据,而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单,只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!
【阅读全文】
【HADOOP】
大数据处
理
工具之Hive安装配置实践
典雅的土地雷
| 2015-06-22 01:59:22 | 阅读(960) | 评论(0)
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,可通过它来检索Hadoop存储数据,而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单,只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!
【阅读全文】
【HADOOP】
大数据处
理
工具之Hive安装配置实践
Larpenteur
| 2015-06-04 06:21:43 | 阅读(1510) | 评论(0)
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,可通过它来检索Hadoop存储数据,而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单,只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!
【阅读全文】
【HADOOP】
大数据处
理
工具之Hive安装配置实践
胡辣tang
| 2015-05-21 16:19:54 | 阅读(410) | 评论(0)
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,可通过它来检索Hadoop存储数据,而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单,只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!
【阅读全文】
【HADOOP】
大数据处
理
工具之Hive安装配置实践
niao5929
| 2015-05-19 08:31:00 | 阅读(670) | 评论(0)
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,可通过它来检索Hadoop存储数据,而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单,只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!
【阅读全文】
【HADOOP】
大数据处
理
工具之Hive安装配置实践
fengzhanhai
| 2015-05-16 20:21:01 | 阅读(7410) | 评论(5)
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,可通过它来检索Hadoop存储数据,而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单,只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!
【阅读全文】
【HADOOP】
HBase分布式数据库
管
理
常用shell命令
fengzhanhai
| 2015-04-21 13:10:15 | 阅读(4160) | 评论(2)
HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统,MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family),列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。
【阅读全文】
【HADOOP】
合
理
设计及优化HBase数据库表入门
fengzhanhai
| 2015-04-21 11:33:03 | 阅读(3960) | 评论(0)
在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK,废话不再多说,接下来我们进入今天的正题吧~
【阅读全文】
【HADOOP】
Hadoop2.0之后的运维
管
理
Shell命令抢鲜分享
visualj
| 2015-04-18 22:03:52 | 阅读(1570) | 评论(0)
Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异,所以在适应旧版本的管理模式之后,再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理,当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。
【阅读全文】
【HADOOP】
Hadoop2.0之后的运维
管
理
Shell命令抢鲜分享
niao5929
| 2015-04-10 08:59:06 | 阅读(870) | 评论(0)
Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异,所以在适应旧版本的管理模式之后,再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理,当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。
【阅读全文】
【HADOOP】
Hadoop2.0之后的运维
管
理
Shell命令抢鲜分享
fengzhanhai
| 2015-04-09 12:03:46 | 阅读(5550) | 评论(2)
Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异,所以在适应旧版本的管理模式之后,再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理,当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。
【阅读全文】
首页
<<
1
2
3
>>
末页