搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android Windows C# Oracle MongoDB 高性能移动开发 CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 82 条

【HADOOP】 kafka日常维护

hxl | 2018-10-23 15:17:53 | 阅读(0) | 评论(0)

版本:2.111.列出topics[yeemiao@elk1 bin]$ ./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.169:2181 --list__consumer_offsetsbusiness-logsnginx-logsnp-logsxdm-logszjs-logs2.查看topics信息./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.16...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

豆浆_tony | 2018-07-21 20:04:39 | 阅读(5790) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop学习系列一：环境搭建

浅色年华 | 2018-07-09 15:03:23 | 阅读(4070) | 评论(0)

为了学习HBase，跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了，废话不多说了，开搞。相比VMware，Vritual Box是免费的，因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box，并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7，下载的时候要DVD ...【阅读全文】

【HADOOP】 hive日常维护

hxl | 2017-12-18 14:40:45 | 阅读(0) | 评论(0)

1.启动hive metastore后台执行hive --servicemetastore &【阅读全文】

【HADOOP】 hadoop命令行日常维护

hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)

1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b：打印文件大小（目录为0）%n：打印文件名%o：打印block size （我们要的值）%r：打印备份数%y：打印UTC日期 yyyy-MM-dd HH:mm:ss%Y：打印自1970年1月1...【阅读全文】

【HADOOP】检测集群日志完整性

powerful_boy | 2017-11-10 11:16:41 | 阅读(1120) | 评论(0)

检测集群日志完整性【阅读全文】

【HADOOP】 HDFS块文件和存放目录的关系

Aquester | 2017-05-19 09:29:25 | 阅读(3870) | 评论(0)

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != ...【阅读全文】

【HADOOP】 HBase架构及基本组件

dream_my_dream | 2017-02-27 11:02:07 | 阅读(2500) | 评论(0)

HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

linux521 | 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1880) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 Hadoop之气象数据分析Unix脚本验证（awk）

linux_kaige | 2016-05-19 15:45:45 | 阅读(2890) | 评论(0)

在Hadoop权威指南的第二张《关于mapreduce》中，提到了气象数据的分析问题，使用到Unix脚本，我就抽空把气象数据给下载下来，然后放到服务器上，用书中的脚本测试一下。实际发现书上有错误的地方，这么多年很少看书，第一次发现书中的错误，已圈红色：我按照上面的方式下载文件 ftp://ftp.ncdc.noaa.gov/pub/data/...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

woaimaidong | 2016-05-07 23:17:31 | 阅读(3520) | 评论(0)

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

hackeruncle | 2016-02-25 16:37:00 | 阅读(2550) | 评论(0)

【HADOOP】 Hadoop监控页面查看Hive的完整SQL

levy-linux | 2016-02-18 09:34:02 | 阅读(4170) | 评论(0)

想看看执行的hive job提交了什么语句，有没有方法从hadoop job监控页面查看？方法如下，这里看到简单的一段SQL，几乎看不出具体在执行什么任务。1、点开一个application，点击Tracking URL: ApplicationMaster 或者 History（历史任务显示History），进入到MapReduce Job job_1409xxxx，Job页面2、点击左侧的Config...【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 hadoop群集设置block副本，对于数据传输很有影响的

levy-linux | 2015-10-15 19:33:23 | 阅读(2050) | 评论(0)

最近测试了下hadoop读写数据的情况，将结果分享给大家，

datanode
mem：128G
cup：2cpu 26** 4核共8核

namenode
mem：192G
cup：2cpu 26** 4核共8核

datanode15台
namenode2台

单个文件2G 使用-put方式
data block repl...【阅读全文】

【HADOOP】 Hadoop集群日常运维

levy-linux | 2015-08-29 22:32:34 | 阅读(1580) | 评论(0)

（一）备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 ...【阅读全文】

【HADOOP】文件副本数量问题，设置的dfs.replication没有生效

levy-linux | 2015-08-28 17:00:16 | 阅读(2930) | 评论(0)

问题描述： 前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h /  这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。 执行 hadoop dfs -ls [filename]  近期的文件都是3份，上个月的抽几个文件...【阅读全文】

【HADOOP】 CDH5.4.0安装中，Validations界面提示修改swappiness

levy-linux | 2015-08-12 10:01:12 | 阅读(1230) | 评论(0)

安装CDH5.4.0的时候，Validations界面中有以下提示内容，意思是需要在/etc/sysctl.conf中设置swappiness值为10， Cloudera recommends setting /proc/sys/vm/swappiness to at most 10. Current setting is 60. Use the sysctl command to change this setting at runtim...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1840) | 评论(0)

首页
<<
1
2
3
4
5
>>
末页

网络110 报警服务