ChinaUnix首页
|
论坛
|
博客
博客首页
博客专家
往日推荐
博客文集
博文
博主
热搜:
Android
系统运维
存储
C++
项目管理
WINDOWS
负载均衡
移动开发
博客首页 〉
搜索结果
按类别查询搜索结果
操作系统
程序设计
数据库
热点技术
综合
架构与运维
移动开发与应用
Web前端
LINUX
|
BSD
|
WINDOWS
|
其他UNIX
|
AIX
|
SOLARIS
|
C/C++
|
Java
|
Python/Ruby
|
项目管理
|
Web开发
|
嵌入式
|
C#/.net
|
PHP
|
Delphi
|
PERL
|
Erlang
|
Verilog
|
敏捷开发
|
Mysql/postgreSQL
|
Oracle
|
DB2/Informix
|
Sybase
|
数据库开发技术
|
SQLite/嵌入式数据库
|
SQLServer
|
NOSQL
|
虚拟化
|
云计算
|
大数据
|
HADOOP
|
高性能计算
|
IT业界
|
IT职场
|
信息化
|
网络与安全
|
系统运维
|
服务器与存储
|
架构设计与优化
|
Android平台
|
iOS平台
|
Windows平台
|
其他平台
|
Html/Css
|
JavaScript
|
jQuery
|
HTML5
|
关于关键词 的检测结果,共
1134
条
【LINUX】
Hadoop
集群一般需要关注的几个重要指标
caojiangfeng
| 2018-01-31 17:46:57 | 阅读(3190) | 评论(0)
原文地址:http://hackershell.cn/?p=1355对于每个RPC服务应该监控通常hdfs在异常任务突发大量访问时,这个参数会突然变得很大,导致其他用户访问hdfs时,会感觉到卡顿,从而影响任务的执行时间如果callqueue队列数值一直处于较高的水平,例如对于NN来说CallQueue的长度等于handler*100,也就是说NN可能收到了大...
【阅读全文】
【大数据】
docker hbase
hadoop
u11
| 2018-01-30 12:26:24 | 阅读(1980) | 评论(0)
中国移动的hbase版本hadoop 版本1.0hbase 版本2.6
【阅读全文】
【HADOOP】
Hadoop
学习全程记录——在Eclipse中运行第一个MapReduce程序
gpf626487
| 2018-01-02 08:48:15 | 阅读(2060) | 评论(0)
hadoop mr
【阅读全文】
【HADOOP】
Hadoop
集群完全分布式模式环境部署
gpf626487
| 2018-01-02 08:47:11 | 阅读(2430) | 评论(0)
Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...
【阅读全文】
【SQLite/嵌入式数据库】
Hadoop
手把手逐级搭建,从单机伪分布到高可用+联邦(2)
Hadoop
完全分布式(full)
DONGYUXIA
| 2017-12-28 16:17:04 | 阅读(1990) | 评论(0)
0. 步骤概述1. 克隆4台虚拟机1.1.0 克隆虚拟机hadoop11.1.1 右键点击当前虚拟机hadoop01.1.2 在右键菜单选中“管理”1.1.3 在“管理”的子菜单选中“克隆”1.1.4 弹出“克隆虚拟机向导”窗口1.1.5 点击“下一步”进入“克隆源”选择窗口1.1.6 在“克隆源”中选择“虚拟机当前状态”或者“现有快照(仅限...
【阅读全文】
【未分类】
hadoop
namenode启动过程详细剖析及瓶颈分析
loveheping
| 2017-12-21 09:33:14 | 阅读(1660) | 评论(0)
【阅读全文】
【大数据】
ZooKeeper 原理及其在
Hadoop
和 HBase 中的应用
laoliulaoliu
| 2017-12-19 16:58:17 | 阅读(5540) | 评论(0)
http://blog.jobbole.com/110388/原文:www.linbingdong.comZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介Zoo...
【阅读全文】
【HADOOP】
hadoop
命令行日常维护
hxl
| 2017-12-12 09:52:05 | 阅读(0) | 评论(0)
1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b:打印文件大小(目录为0)%n:打印文件名%o:打印block size (我们要的值)%r:打印备份数%y:打印UTC日期 yyyy-MM-dd HH:mm:ss%Y:打印自1970年1月1...
【阅读全文】
【LINUX】
hadoop
,jdk,scala,hbase等环境变量的配置
yepyang
| 2017-12-08 17:58:52 | 阅读(0) | 评论(0)
export PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/zookeeper/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/bin:/usr/local/spark-2.1.0-bin-hadoop2.7/sbin:/usr/local/snoopy/sbin:/opt/metasploit-framework/bin:/usr/local/kafka/bin:...
【阅读全文】
【HADOOP】
hadoop
lzo文件创建索引
hxl
| 2017-12-08 08:17:45 | 阅读(0) | 评论(0)
我在在采用lzo做为hive的压缩方式后,默认情况下执行map/reduce使用的map和reduce的进程数是1,无法进行分片执行,在数据文件很大的情况下,执行起来非常的慢,这个时候我们就需要为lzo创建索引,支持分片执行。
【阅读全文】
【HADOOP】
验证
hadoop
安装lzo是否成功
hxl
| 2017-12-07 14:46:24 | 阅读(0) | 评论(0)
1.创建目录:[hadoop@master exter_data]$ hadoop fs -mkdir /user/hive/provcode/2.上传文本文件hadoop fs -put /opt/hadoop/exter_data/provcode.TXT.utf8 /user/hive/provcode/3.压缩[hadoop@master exter_data]$ hadoop jar /opt/hadoop/hadoop-2.8.2/share/hadoop/tools/lib/hadoop-streaming-2.8.2.jar -Dmapr...
【阅读全文】
【HADOOP】
hadoop
和hive下配置lzo压缩
hxl
| 2017-12-07 13:53:35 | 阅读(0) | 评论(0)
环境:hadoop:2.8.2hive:1.2.21.9 安装LZO压缩1.9.1安装maven1.9.1.1下载maven下载地址为: http://maven.apache.org/download.cgi下载的版本为: apache-maven-3.5.2-bin.tar.gz1.9.1.2解压安装[root@master soft]# tar -xvf apache-maven-3.5.2-bin.tar.gzroot@master soft]# m...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(011):HDFS Erasure Coding纠删码使用
wenaideyu
| 2017-12-06 20:02:45 | 阅读(1900) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(010):hdfs3.0.0动态添加节点(2)
wenaideyu
| 2017-12-06 20:01:02 | 阅读(1280) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(009):hdfs3.0.0动态添加节点(1)
wenaideyu
| 2017-12-06 20:00:28 | 阅读(1080) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(008):hdfs3.0.0基本操作-查看HDFS文件系统
wenaideyu
| 2017-12-06 19:59:45 | 阅读(1510) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-上传、下载、删除文件或目录
wenaideyu
| 2017-12-06 19:58:55 | 阅读(1180) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(006):hdfs3.0.0分布式构建-启动hdfs
wenaideyu
| 2017-12-04 12:52:13 | 阅读(1010) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(005):hdfs3.0.0分布式构建-hdfs配置、无密码登录
wenaideyu
| 2017-12-04 12:51:25 | 阅读(1360) | 评论(0)
写在前面的话Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008年hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1,hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是h...
【阅读全文】
【大数据】
hadoop
-3.0.0-beta1运维手册(004):安装分布式hdfs3.0.0-配置JDK、设置主机名
wenaideyu
| 2017-11-30 21:15:51 | 阅读(1030) | 评论(0)
3.4 配置JDK1. 解压注意:我们所指的路径是/home/user解压的命令是:tar xf jdk-8u152-linux-x64.tar.gz解压后,ls,可以看到蓝色的目录:jdk1.8.0_152 3-33 jdk解压目录2. 添加JDK相关的环境变量切换到root用户3-34 su命令切换编辑/et...
【阅读全文】
首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页