搜索博文结果_ChinaUnix博客

aquester | 2019-10-22 14:28:03 | 阅读(2020) | 评论(0)

目录目录 11. 背景 12. 环境 13. 执行语句 14. 问题描述 15. 错误信息 26. 问题原因 37. 解决办法 4 1. 背景机房裁撤，需将源HBase集群的数据迁移到目标HBase集群，采用快照迁移方式。2. 环境Hadoop-3.1.2 + HBase-2.2.13. 执行语句...【阅读全文】

【HADOOP】 Tomcat 应用中并行流带来的类加载问题

vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)

随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 hive2.0 安装过程问题解决办法

OowarrioroO | 2016-04-24 16:40:38 | 阅读(2000) | 评论(0)

HIVE安装环境：ubuntu14.04 hadoop-2.6.0 hive-2.0.0
?1.下载安装
?下载链接：http://mirror.bit.edu.cn/apache/hive/
?解压安装：
2.参数配置
?2.1设置环境变量
2.2设置配置文件
3错误信息：
Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized.
Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: 【阅读全文】

【HADOOP】 Hadoop虚拟化扩展(HVE)之资源扩展技术

zzjlzx | 2016-03-21 10:38:53 | 阅读(2110) | 评论(0)

Hadoop虚拟化扩展(HVE)之资源扩展技术作者：vBigData 发布日期：2013-11-07 10:22:29背景在虚拟化的云环境中，Hadoop可以有更好的“弹性”，这是云计算的一个重要优势，例如亚马逊的EMR(ElasticMapReduce)服务, 用户可以迅速的在云中根据需求部署一个H...【阅读全文】

【HADOOP】 ambari增加journalnode服务节点

levy-linux | 2016-03-17 11:57:58 | 阅读(2660) | 评论(0)

ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】

【HADOOP】 hive job 提示Invalid sync和无法分配内存报错处理

levy-linux | 2015-12-29 11:48:29 | 阅读(3860) | 评论(0)

近期发现分析部门同事告知，hive处理原始数据的时候总是不能执行完成，报错如下，这个问题是avro的文件不完整：Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync! &n...【阅读全文】

【HADOOP】 hive 结合执行计划分析 limit 执行原理

Helianthus_lu | 2015-10-16 23:36:30 | 阅读(6050) | 评论(0)

hive计划执行【阅读全文】

【HADOOP】 Datanode节点一块硬盘故障处理

levy-linux | 2015-10-11 15:26:29 | 阅读(6320) | 评论(0)

今天一台服务器 datanode服务自动停止了，查看datanode log发现如下报错：

org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 1, volumes configured: 2, volumes failed: 1, volume failures tolerated: 0

意思是volumes出现故...【阅读全文】

【HADOOP】 ambari动态添加datanode和nodemanager

levy-linux | 2015-09-10 14:46:21 | 阅读(3260) | 评论(0)

在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线节点 1) namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,server9,则如下： server7 server8 resourcemanager节点上yarn.exclude文件里...【阅读全文】

【HADOOP】 hdfs中Missing Block 的文件处理方法

levy-linux | 2015-08-28 19:55:50 | 阅读(7310) | 评论(0)

今天巡检的时候发现很多Missing Block信息，大概有1千多个，基本上是error文件，我针对一个文件进行fsck，如下信息： [root@nn ~]# hdfs fsck /kafka/kafka-sample/history/2014/errors-m-00003 -files -blocks -racks -locations SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".<br...【阅读全文】

【HADOOP】 hadoop测试群集机房断电宕机处理

levy-linux | 2015-08-17 16:19:42 | 阅读(1660) | 评论(0)

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.

这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完...【阅读全文】

【HADOOP】 Hadoop添加删除节点

levy-linux | 2015-08-06 17:58:10 | 阅读(1530) | 评论(0)

添加节点

1.修改host
和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host

3.在新节点的机器上，启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop...【阅读全文】

【HADOOP】 HBase分布式数据库管理常用shell命令

douyaqiang123 | 2015-06-30 16:39:05 | 阅读(1970) | 评论(0)

HBase是一个分布式的、面向列的开源数据库。HBase利用Hadoop HDFS作为其文件存储系统，MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族/列簇(column family)，列族下面包含若干列。本文主要是介绍分享一下在日常维护HBase时经常使用到的一些命令的心得和体会。【阅读全文】

【HADOOP】合理设计及优化HBase数据库表入门

douyaqiang123 | 2015-06-30 16:38:43 | 阅读(1970) | 评论(0)

在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK，废话不再多说，接下来我们进入今天的正题吧~【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

GiserHu | 2015-06-29 20:35:53 | 阅读(560) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

典雅的土地雷 | 2015-06-22 01:59:22 | 阅读(970) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

Larpenteur | 2015-06-04 06:21:43 | 阅读(1520) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

胡辣tang | 2015-05-21 16:19:54 | 阅读(420) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】 Hadoop集群中添加datanode节点

niao5929 | 2015-05-19 11:28:13 | 阅读(1050) | 评论(0)

Hadoop集群中添加datanode节点[日期：2015-05-19]来源：Linux社区作者：ljy2013[字体：大中小]随着业务的扩展，公司刚开始的三个节点已经不够用了，因此需要添加datanode。下面记录一下添加datanode节点的步骤：1、在新的...【阅读全文】