搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：网络安全 Python 项目管理 Mysql AIX Hyper-V 高性能 CCNA

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 27 条

【HADOOP】 kafka日常维护

hxl | 2018-10-23 15:17:53 | 阅读(0) | 评论(0)

版本:2.111.列出topics[yeemiao@elk1 bin]$ ./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.169:2181 --list__consumer_offsetsbusiness-logsnginx-logsnp-logsxdm-logszjs-logs2.查看topics信息./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.16...【阅读全文】

【HADOOP】 hive日常维护

hxl | 2017-12-18 14:40:45 | 阅读(0) | 评论(0)

1.启动hive metastore后台执行hive --servicemetastore &【阅读全文】

【HADOOP】 hadoop命令行日常维护

hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)

1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b：打印文件大小（目录为0）%n：打印文件名%o：打印block size （我们要的值）%r：打印备份数%y：打印UTC日期 yyyy-MM-dd HH:mm:ss%Y：打印自1970年1月1...【阅读全文】

【HADOOP】检测集群日志完整性

powerful_boy | 2017-11-10 11:16:41 | 阅读(1110) | 评论(0)

检测集群日志完整性【阅读全文】

【HADOOP】 sqoop-export计算结果同步到mysql

hxl | 2017-04-17 17:42:19 | 阅读(0) | 评论(0)

#!/bin/shdatabase="terminal"sourceDataPath="/dmsdk/data/heartbeat/"tableName="exter_terminal_heartbeat"tmp_table="t_audit_out_heartbeat"terminal_table="t_audit_heartbeat"load_data(){ for day in `hadoop fs -ls $1|awk -F '/' '{print $5}'` ...【阅读全文】

【HADOOP】 Hadoop 提交任务执行流程总结

OowarrioroO | 2016-04-15 21:26:50 | 阅读(3100) | 评论(0)

Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下：
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output【阅读全文】

【HADOOP】 hive 结合执行计划分析 limit 执行原理

Helianthus_lu | 2015-10-16 23:36:30 | 阅读(6050) | 评论(0)

hive计划执行【阅读全文】

【HADOOP】 Hadoop集群日常运维

levy-linux | 2015-08-29 22:32:34 | 阅读(1580) | 评论(0)

（一）备份namenode的元数据 namenode中的元数据非常重要，如丢失或者损坏，则整个系统无法使用。因此应该经常对元数据进行备份，最好是异地备份。 1、将元数据复制到远程站点 （1）以下代码将secondary namenode中的元数据复制到一个时间命名的目录下，然后通过scp命令远程发送到其它机器 ...【阅读全文】

【HADOOP】 Hadoop、Spark、Hbase常用配置参数总结

levy-linux | 2015-08-16 13:34:53 | 阅读(1220) | 评论(0)

MapReduce重要配置参数
1. 资源相关参数
(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。
(2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Ta...【阅读全文】

【HADOOP】 Hadoop 学习总结之一：HDFS简介

ilffe | 2015-04-27 14:31:00 | 阅读(710) | 评论(0)

转载：http://forfuture1978.iteye.com/blog/615033一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(760) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 redis日常管理

hxl | 2015-03-12 14:22:59 | 阅读(0) | 评论(0)

1.停止redissrc/redis-cli shutdown2.启动src/redis-server3.指定配置文件启动src/redis-server /soft/redis/redis.conf4.修改rdb文件路径dbfilename dump.rdbdir /yourpath【阅读全文】

【HADOOP】 pig日常操作

hxl | 2015-03-04 10:42:09 | 阅读(0) | 评论(0)

1.以指定分割符加载数据records = load '/hive/warehouse/analysis.db/tb_sso_ver_login_day/statedate=20141201/000000_0' using PigStorage('|') as (provcode: chararray,areacode: chararray,loginfrom: chararray,day_login_count: int,day_logn_user_count: int,mon_login_count: int,mon_logn_user_count: int,c...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

【HADOOP】 hive日常维护

hxl | 2014-10-30 10:12:14 | 阅读(0) | 评论(0)

1.创建数据库create database hxl;数据库的文件路径默认是在hive-site.xml文件hive.metastore.warehouse.dir参数定义的路径,我这里是/user/hive/warehouse,当然同时自己也可以指定目录,如:create database ods location '/user/hive/ods.db';【阅读全文】

【HADOOP】 hadoop日常管理

hxl | 2014-10-29 11:29:13 | 阅读(0) | 评论(0)

1.查看目录[hadoop1@node1 ]$ hadoop fs -ls . //跟目录[hadoop1@node1 ]$ hadoop fs -ls /user/hadoop1/input //具体某个目录【阅读全文】

【HADOOP】基于hive的日志数据统计实战

double_lq | 2014-07-19 11:04:59 | 阅读(0) | 评论(0)

基于 hive 的日志数据统计实战一、 hive 简介 hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据...【阅读全文】

【HADOOP】 mapreduce调试查询System.out的结果

double_lq | 2014-07-16 16:23:48 | 阅读(0) | 评论(0)

1.前言刚接触mapreduce的人肯定为碰到这样的问题，就是我们在程序中如下类似的命令[cpp] view plaincopySystem.out.println(year+" "+airTemperature);//无效，控制台没有输出。但是console控制台不给我们输出相应的结果，这对...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3530) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

网络110 报警服务