搜索博文结果_ChinaUnix博客

hxl | 2018-10-23 15:17:53 | 阅读(0) | 评论(0)

版本:2.111.列出topics[yeemiao@elk1 bin]$ ./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.169:2181 --list__consumer_offsetsbusiness-logsnginx-logsnp-logsxdm-logszjs-logs2.查看topics信息./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.16...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

豆浆_tony | 2018-07-21 20:04:39 | 阅读(5410) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 hive日常维护

hxl | 2017-12-18 14:40:45 | 阅读(0) | 评论(0)

1.启动hive metastore后台执行hive --servicemetastore &【阅读全文】

【HADOOP】 hadoop命令行日常维护

hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)

1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b：打印文件大小（目录为0）%n：打印文件名%o：打印block size （我们要的值）%r：打印备份数%y：打印UTC日期 yyyy-MM-dd HH:mm:ss%Y：打印自1970年1月1...【阅读全文】

【HADOOP】检测集群日志完整性

powerful_boy | 2017-11-10 11:16:41 | 阅读(1110) | 评论(0)

检测集群日志完整性【阅读全文】

【HADOOP】 sqoop-export计算结果同步到mysql

hxl | 2017-04-17 17:42:19 | 阅读(0) | 评论(0)

#!/bin/shdatabase="terminal"sourceDataPath="/dmsdk/data/heartbeat/"tableName="exter_terminal_heartbeat"tmp_table="t_audit_out_heartbeat"terminal_table="t_audit_heartbeat"load_data(){ for day in `hadoop fs -ls $1|awk -F '/' '{print $5}'` ...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

linux521 | 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

woaimaidong | 2016-05-07 23:17:31 | 阅读(3510) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop 提交任务执行流程总结

OowarrioroO | 2016-04-15 21:26:50 | 阅读(3100) | 评论(0)

Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下：
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output【阅读全文】

【HADOOP】 Hadoop之使用python实现数据集合间join操作

levy-linux | 2016-03-17 17:42:57 | 阅读(2730) | 评论(0)

hadoop之steaming介绍hadoop有个工具叫做steaming，能够支持python、shell、C++、PHP等其他任何支持标准输入stdin及标准输出stdout的语言，其运行原理可以通过和标准java的map-reduce程序对比来说明：使用原生java语言实现Map-reduce程序 hadoop准备好数据后，将数据传送给java的map程序 &nbs...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

hackeruncle | 2016-02-25 16:37:00 | 阅读(2540) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop工具书推荐

powerful_boy | 2015-11-02 09:30:39 | 阅读(1170) | 评论(0)

向Hadoop感兴趣的朋友推荐两本书：1、Hadoop权威指南（第三版，清华大学出版社）作者：Tom White2、Hadoop源代码分析（中国铁道出版社）作者：张鑫【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 hive 结合执行计划分析 limit 执行原理

Helianthus_lu | 2015-10-16 23:36:30 | 阅读(6050) | 评论(0)

hive计划执行【阅读全文】

【HADOOP】 ambari操作节点supervisor无法正常启动

levy-linux | 2015-10-09 14:50:43 | 阅读(3520) | 评论(0)

ambari监控界面看到的信息： stderr:   /var/lib/ambari-agent/data/errors-11891.txt /usr/lib/python2.6/site-packages/jinja2/__init__.py:31: UserWarning: Module jinja2 was already imported from /usr/lib/python2.6/site-packages/jinja2/__init__.pyc, but /usr/lib64/pytho...【阅读全文】

【HADOOP】 Hadoop集群日常运维

levy-linux | 2015-08-29 22:32:34 | 阅读(1580) | 评论(0)

（一）备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 ...【阅读全文】

【HADOOP】 Hadoop、Spark、Hbase常用配置参数总结

levy-linux | 2015-08-16 13:34:53 | 阅读(1220) | 评论(0)

MapReduce重要配置参数
1. 资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

douyaqiang123 | 2015-06-30 16:40:07 | 阅读(1800) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

GiserHu | 2015-06-29 20:35:53 | 阅读(560) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】

【HADOOP】大数据处理工具之Hive安装配置实践

典雅的土地雷 | 2015-06-22 01:59:22 | 阅读(970) | 评论(0)

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，可通过它来检索Hadoop存储数据，而且所有的查询操作是基于MapReduce来完成的。
本文主要介绍了如何快速安装Hive组件的一种可行的方法。Hive的安装配置比较简单，只要确保HDFS和MapReduce已经正确运行即可开始我们的安装之旅了。那么我们就具体来看一看如何快速简便的安装Hive组件!【阅读全文】