ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： 网络安全 cISCO 系统运维 Ruby 项目管理 Oracle HADOOP 高性能
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 185 条
【HADOOP】 HBase快照迁移数据失败原因及解决办法
aquester | 2019-10-22 14:28:03 | 阅读(2060) | 评论(0)
目录目录 11. 背景 12. 环境 13. 执行语句 14. 问题描述 15. 错误信息 26. 问题原因 37. 解决办法 4 1. 背景机房裁撤，需将源HBase集群的数据迁移到目标HBase集群，采用快照迁移方式。2. 环境Hadoop-3.1.2 + HBase-2.2.13. 执行语句...【阅读全文】
【HADOOP】 Tomcat 应用中并行流带来的类加载问题
vivo互联网技术 | 2019-09-25 21:43:12 | 阅读(1710) | 评论(0)
随着 Java8 的不断流行，越来越多的开发人员使用并行流（parallel）这一特性提升代码执行效率。但是，作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况，通过对比 Tomcat 多个版本的源码，结合并行流和 JVM 类加载机制的原理，成功定位到问题来源。本文对这个问题展开分析，并给出解决方案。【阅读全文】
【HADOOP】 修改hbase表的ttl
hxl | 2019-07-29 10:00:39 | 阅读(0) | 评论(0)
hbase(main):002:0> describe 'TraceV2'Table TraceV2 is ENABLED                                                                   ...【阅读全文】
【HADOOP】 Hive中小表与大表关联(join)的性能分析
jelon521 | 2018-11-16 09:46:42 | 阅读(1490) | 评论(0)
【转自：http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】  经常看到一些Hive优化的建议中说当小表与大表做关联时，把小表写在前面，这样可以使Hive的关联速度更快，提到的原因都是说因为小表可以先放到内存中，然后大表的每条记录再去内存中检测，最终完成关联查询。这样的原因看似合理，...【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
豆浆_tony | 2018-07-21 20:04:39 | 阅读(5780) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 CDH安装失败如何重装
hxl | 2017-10-27 17:42:40 | 阅读(0) | 评论(0)
1.停掉服务[root@master opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-server stopStopping cloudera-scm-server: [  OK  ][root@master opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stopStopping cloudera-scm-agent: [  OK  ]2.Agent节点的UUIDrm -rf /opt/cm-5.13.0/lib/clouder...【阅读全文】
【HADOOP】 HDFS块文件和存放目录的关系
Aquester | 2017-05-19 09:29:25 | 阅读(3870) | 评论(0)
详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){    if (argc != ...【阅读全文】
【HADOOP】 HBase的相关进展
dream_my_dream | 2017-02-27 11:20:46 | 阅读(730) | 评论(0)
HBase 的以前实现中，当一台 RegionServer 不可用时，需要数十秒甚至数分钟才可以完成发现和恢复工作，在这段时间内，这台 RegionServer 上的 Region 是不可用的。当一个 Region 不可用时，它需要一段时间才可以被其他 RegionServer 接管。在最新的实现中，一个 Region 可以有多个副本（Region 是数据的管理者，是实际数据的抽象），分布在多个 RegionServer 上，从而提高了系统的可用性，具体原理如下图所示：【阅读全文】
【HADOOP】 HBase的读写
dream_my_dream | 2017-02-27 11:10:42 | 阅读(970) | 评论(0)
在HBase 0.96以前，HBase有两个特殊的Table：-ROOT-和.META.（如BigTable中的设计），其中-ROOT- Table的位置存储在ZooKeeper，它存储了.META. Table的RegionInfo信息，并且它只能存在一个HRegion，而.META. Table则存储了用户Table的RegionInfo信息，它可以被切分成多个HRegion，因而对第一次访问用户Table时，首先从ZooKeeper中读取-ROOT- Table所在HRegionServer；然后从该HRegionServer中根据请求的TableName，RowKey读取.META. Table所在HRegionServer；最后从该HRegionServer中读取.META. Table的内容而获取此次请求需要访问的HRegion所在的位置，然后访问该HRegionSever获取请求的数据，这需要三次请求才能找到用户Table所在的位置，然后第四次请求开始获取真正的数据。当然为了提升性能，客户端会缓存-ROOT- Table位置以及-ROOT-/.META. Table的内容【阅读全文】
【HADOOP】 HIVE备份之批量导出所有的HIVE建表字段
pamire | 2017-01-13 20:06:14 | 阅读(5610) | 评论(1)
hive export table 【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
linux521 | 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 hadoop和spark的区别
jeffchencsj | 2016-09-25 20:20:09 | 阅读(1940) | 评论(0)
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布...【阅读全文】
【HADOOP】 centos添加系统变量
sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)
CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
woaimaidong | 2016-05-07 23:17:31 | 阅读(3520) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 基于zookeeper的主备切换方法
夏寥寥 | 2016-04-02 10:06:32 | 阅读(1370) | 评论(0)
zookeeper的ZOO_EPHEMERAL节点（如果ZOO_EPHEMERAL满足不了需求，可以考虑和ZOO_SEQUENCE结合使用），在会话关闭或过期时，会自动删除，利用这一特性可以实现两个或多节点间的主备切换。实现方法：1）在进程启动时调用zookeeper_init()初始化：bool X::init_zookeeper(){    // 第一次调用时_clientid总是...【阅读全文】
【HADOOP】 基于zookeeper的主备切换方法
Aquester | 2016-03-30 10:24:37 | 阅读(26180) | 评论(0)
zookeeper的ZOO_EPHEMERAL节点（如果ZOO_EPHEMERAL满足不了需求，可以考虑和ZOO_SEQUENCE结合使用），在会话关闭或过期时，会自动删除，利用这一特性可以实现两个或多节点间的主备切换。实现方法：1）在进程启动时调用zookeeper_init()初始化：bool X::init_zookeeper(){    // 第一次调用时_clientid总是...【阅读全文】
【HADOOP】 正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置
zzjlzx | 2016-03-21 10:35:48 | 阅读(2170) | 评论(0)
正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者：weir2010  发布日期：2014-06-09 18:03:05环境虚拟机centos6.5主机名h3  IP 192.168.137.11  作为DNS FNS的服务器主机名h4  IP 192.168.137.12主机名h3  I...【阅读全文】
【HADOOP】 ambari增加journalnode服务节点
levy-linux | 2016-03-17 11:57:58 | 阅读(2680) | 评论(0)
ambari默认3个journalnode节点，但是如果一个节点出现问题，需要增加补充，ambari界面没有操作的选项，所以只能通过其他命令方式操作，看到之前有个文章是将HA降级，之后重新做HA，这样的风险太高了，操作负载，从网上找到了其他方式，分享给需要的朋友，也希望ambari新版本可以将这个增加journalnode功能，添加进去。增...【阅读全文】
【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享
hackeruncle | 2016-02-25 16:37:00 | 阅读(2550) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】
【HADOOP】 Hadoop监控页面查看Hive的完整SQL
levy-linux | 2016-02-18 09:34:02 | 阅读(4170) | 评论(0)
想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History），进入到MapReduce Job job_1409xxxx，Job页面2、点击左侧的Config...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务