ChinaUnix首页
|
论坛
|
博客
博客首页
博客专家
往日推荐
博客文集
博文
博主
热搜:
Windows
系统运维
C#
C语言
PHP
Python
WINDOWS
ubuntu
博客首页 〉
搜索结果
按类别查询搜索结果
操作系统
程序设计
数据库
热点技术
综合
架构与运维
移动开发与应用
Web前端
LINUX
|
BSD
|
WINDOWS
|
其他UNIX
|
AIX
|
SOLARIS
|
C/C++
|
Java
|
Python/Ruby
|
项目管理
|
Web开发
|
嵌入式
|
C#/.net
|
PHP
|
Delphi
|
PERL
|
Erlang
|
Verilog
|
敏捷开发
|
Mysql/postgreSQL
|
Oracle
|
DB2/Informix
|
Sybase
|
数据库开发技术
|
SQLite/嵌入式数据库
|
SQLServer
|
NOSQL
|
虚拟化
|
云计算
|
大数据
|
HADOOP
|
高性能计算
|
IT业界
|
IT职场
|
信息化
|
网络与安全
|
系统运维
|
服务器与存储
|
架构设计与优化
|
Android平台
|
iOS平台
|
Windows平台
|
其他平台
|
Html/Css
|
JavaScript
|
jQuery
|
HTML5
|
关于关键词 的检测结果,共
186
条
【HADOOP】
Tomcat 应用中并行流带来
的
类加载问题
vivo互联网技术
| 2019-09-25 21:43:12 | 阅读(1700) | 评论(0)
随着 Java8 的不断流行,越来越多的开发人员使用并行流(parallel)这一特性提升代码执行效率。但是,作者发现在 Tomcat 容器中使用并行流会出现动态加载类失败的情况,通过对比 Tomcat 多个版本的源码,结合并行流和 JVM 类加载机制的原理,成功定位到问题来源。本文对这个问题展开分析,并给出解决方案。
【阅读全文】
【HADOOP】
修改hbase表
的
ttl
hxl
| 2019-07-29 10:00:39 | 阅读(0) | 评论(0)
hbase(main):002:0> describe 'TraceV2'Table TraceV2 is ENABLED ...
【阅读全文】
【HADOOP】
Hive中小表与大表关
联
(join)
的
性能分析
jelon521
| 2018-11-16 09:46:42 | 阅读(1480) | 评论(0)
【转自:http://blog.sina.com.cn/s/blog_6ff05a2c01016j7n.html】 经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到内存中,然后大表的每条记录再去内存中检测,最终完成关联查询。这样的原因看似合理,...
【阅读全文】
【HADOOP】
Hadoop大数据平台运维工程师须掌握
的
基本命令集分享
豆浆_tony
| 2018-07-21 20:04:39 | 阅读(5410) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢
【阅读全文】
【HADOOP】
Hadoop学习
系
列一:环境搭建
浅色年华
| 2018-07-09 15:03:23 | 阅读(3690) | 评论(0)
为了学习HBase,跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了,废话不多说了,开搞。相比VMware,Vritual Box是免费的,因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box,并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7,下载的时候要DVD ...
【阅读全文】
【HADOOP】
HDFS块文件和存放目录
的
关
系
Aquester
| 2017-05-19 09:29:25 | 阅读(3860) | 评论(0)
详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下,则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != ...
【阅读全文】
【HADOOP】
HBase
的
相关进展
dream_my_dream
| 2017-02-27 11:20:46 | 阅读(720) | 评论(0)
HBase 的以前实现中,当一台 RegionServer 不可用时,需要数十秒甚至数分钟才可以完成发现和恢复工作,在这段时间内,这台 RegionServer 上的 Region 是不可用的。当一个 Region 不可用时,它需要一段时间才可以被其他 RegionServer 接管。在最新的实现中,一个 Region 可以有多个副本(Region 是数据的管理者,是实际数据的抽象),分布在多个 RegionServer 上,从而提高了系统的可用性,具体原理如下图所示:
【阅读全文】
【HADOOP】
HBase
的
读写
dream_my_dream
| 2017-02-27 11:10:42 | 阅读(970) | 评论(0)
在HBase 0.96以前,HBase有两个特殊的Table:-ROOT-和.META.(如BigTable中的设计),其中-ROOT- Table的位置存储在ZooKeeper,它存储了.META. Table的RegionInfo信息,并且它只能存在一个HRegion,而.META. Table则存储了用户Table的RegionInfo信息,它可以被切分成多个HRegion,因而对第一次访问用户Table时,首先从ZooKeeper中读取-ROOT- Table所在HRegionServer;然后从该HRegionServer中根据请求的TableName,RowKey读取.META. Table所在HRegionServer;最后从该HRegionServer中读取.META. Table的内容而获取此次请求需要访问的HRegion所在的位置,然后访问该HRegionSever获取请求的数据,这需要三次请求才能找到用户Table所在的位置,然后第四次请求开始获取真正的数据。当然为了提升性能,客户端会缓存-ROOT- Table位置以及-ROOT-/.META. Table的内容
【阅读全文】
【HADOOP】
HIVE备份之批量导出所有
的
HIVE建表字段
pamire
| 2017-01-13 20:06:14 | 阅读(5600) | 评论(1)
hive export table
【阅读全文】
【HADOOP】
Hadoop大数据平台运维工程师须掌握
的
基本命令集分享
linux521
| 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢
【阅读全文】
【HADOOP】
hadoop和spark
的
区别
jeffchencsj
| 2016-09-25 20:20:09 | 阅读(1940) | 评论(0)
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布...
【阅读全文】
【HADOOP】
centos添加
系
统变量
sanshugen
| 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)
CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后,为了使用方便,需要将php和mysql命令加到系统命令中,如果在没有添加到环境变量之前,执行“php -v”命令查看当前php版本信息时时,则会提示命令不存在的错误,下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法(假设php和mysq...
【阅读全文】
【HADOOP】
Hadoop大数据平台运维工程师须掌握
的
基本命令集分享
woaimaidong
| 2016-05-07 23:17:31 | 阅读(3510) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢
【阅读全文】
【HADOOP】
基于zookeeper
的
主备切换方法
夏寥寥
| 2016-04-02 10:06:32 | 阅读(1370) | 评论(0)
zookeeper的ZOO_EPHEMERAL节点(如果ZOO_EPHEMERAL满足不了需求,可以考虑和ZOO_SEQUENCE结合使用),在会话关闭或过期时,会自动删除,利用这一特性可以实现两个或多节点间的主备切换。实现方法:1)在进程启动时调用zookeeper_init()初始化:bool X::init_zookeeper(){ // 第一次调用时_clientid总是...
【阅读全文】
【HADOOP】
基于zookeeper
的
主备切换方法
Aquester
| 2016-03-30 10:24:37 | 阅读(26170) | 评论(0)
zookeeper的ZOO_EPHEMERAL节点(如果ZOO_EPHEMERAL满足不了需求,可以考虑和ZOO_SEQUENCE结合使用),在会话关闭或过期时,会自动删除,利用这一特性可以实现两个或多节点间的主备切换。实现方法:1)在进程启动时调用zookeeper_init()初始化:bool X::init_zookeeper(){ // 第一次调用时_clientid总是...
【阅读全文】
【HADOOP】
正式生产环境下hadoop集群
的
DNS+NFS+ssh免密码登陆配置
zzjlzx
| 2016-03-21 10:35:48 | 阅读(2150) | 评论(0)
正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置作者:weir2010 发布日期:2014-06-09 18:03:05环境虚拟机centos6.5主机名h3 IP 192.168.137.11 作为DNS FNS的服务器主机名h4 IP 192.168.137.12主机名h3 I...
【阅读全文】
【HADOOP】
Hadoop大数据平台运维工程师须掌握
的
基本命令集分享
hackeruncle
| 2016-02-25 16:37:00 | 阅读(2540) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢
【阅读全文】
【HADOOP】
Hadoop监控页面查看Hive
的
完整SQL
levy-linux
| 2016-02-18 09:34:02 | 阅读(4170) | 评论(0)
想看看执行的hive job提交了什么语句,有没有方法从hadoop job监控页面查看?方法如下,这里看到简单的一段SQL,几乎看不出具体在执行什么任务。1、点开一个application,点击Tracking URL: ApplicationMaster 或者 History(历史任务显示History),进入到MapReduce Job job_1409xxxx,Job页面2、点击左侧的Config...
【阅读全文】
【HADOOP】
R实现MapReduce
的
协同过滤算法
hiyachen
| 2016-01-29 12:45:14 | 阅读(4030) | 评论(0)
R实现MapReduce的协同过滤算法
【阅读全文】
【HADOOP】
hadoop强制进行Active/Standby切换需要注意
的
问题
levy-linux
| 2016-01-13 15:29:57 | 阅读(8570) | 评论(0)
NN切换hdfs haadmin -transitionToActive/transitionToStandbyRM切换yarn rmadmin -transitionToActive/transitionToStandby但是,这种方式在启用了ZKFC做自动失效恢复的状态下是不允许修改的,提示信息里只说了可以强制执行,但是没有提供命令,其实强制切换主备命令很简单。加个forcemanual就好了。强制切换yar...
【阅读全文】
首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页