搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Windows cISCO 项目管理 Mysql Oracle MongoDB LINUX 虚拟化

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 66 条

【HADOOP】 kafka日常维护

hxl | 2018-10-23 15:17:53 | 阅读(0) | 评论(0)

版本:2.111.列出topics[yeemiao@elk1 bin]$ ./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.169:2181 --list__consumer_offsetsbusiness-logsnginx-logsnp-logsxdm-logszjs-logs2.查看topics信息./kafka-topics.sh --zookeeper 10.26.41.102:2181,10.26.41.60:2181,10.27.181.16...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

豆浆_tony | 2018-07-21 20:04:39 | 阅读(5570) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【HADOOP】 Hadoop学习系列一：环境搭建

浅色年华 | 2018-07-09 15:03:23 | 阅读(3850) | 评论(0)

为了学习HBase，跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了，废话不多说了，开搞。相比VMware，Vritual Box是免费的，因此这里采用Virtual Box。首先在virtualbox官网的下载页面下载Virtual Box，并安装。安装过程没什么好说的。在CentOS官网下载最新版的CentOS 7，下载的时候要DVD ...【阅读全文】

【HADOOP】 Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序

gpf626487 | 2018-01-02 08:48:15 | 阅读(2130) | 评论(0)

hadoop mr【阅读全文】

【HADOOP】 hive日常维护

hxl | 2017-12-18 14:40:45 | 阅读(0) | 评论(0)

1.启动hive metastore后台执行hive --servicemetastore &【阅读全文】

【HADOOP】 hadoop命令行日常维护

hxl | 2017-12-12 09:52:05 | 阅读(0) | 评论(0)

1.查看块和文件大小[hadoop@master ~]$ hadoop fs -stat "%o %r %b" /user/hive/exter_data/userdata/usernolzo/user.txt134217728 2 10477777796参数选项:%b：打印文件大小（目录为0）%n：打印文件名%o：打印block size （我们要的值）%r：打印备份数%y：打印UTC日期 yyyy-MM-dd HH:mm:ss%Y：打印自1970年1月1...【阅读全文】

【HADOOP】 HDFS块文件和存放目录的关系

Aquester | 2017-05-19 09:29:25 | 阅读(3870) | 评论(0)

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != ...【阅读全文】

【HADOOP】 Hadoop运行hadoop-examples-1.2.1.jar(wordcount)

lksoulman | 2017-02-14 14:45:05 | 阅读(2070) | 评论(0)

本文主要介绍 Hadoop 运行 hadoop-examples-1.2.1.jar 包中 wordcount类统计文件中的单词个数。【阅读全文】

【HADOOP】 Hadoop-将python代码运行在hadoop上

清无 | 2017-01-07 12:29:21 | 阅读(1730) | 评论(0)

1.启动hadoop, start-all.sh 启动hadoop2. copy local example data to hdfs bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -file /home/hduser/reducer.py -reducer /home/hduser/reducer.py bin/hadoop dfs -cat /user/hduser/gutenberg-output/part-00000【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

linux521 | 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)

【HADOOP】 centos添加系统变量

sanshugen | 2016-08-13 16:12:53 | 阅读(1870) | 评论(0)

CentOS添加环境变量在Linux CentOS系统上安装完php和MySQL后，为了使用方便，需要将php和mysql命令加到系统命令中，如果在没有添加到环境变量之前，执行“php -v”命令查看当前php版本信息时时，则会提示命令不存在的错误，下面我们详细介绍一下在linux下将php和mysql加入到环境变量中的方法（假设php和mysq...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

woaimaidong | 2016-05-07 23:17:31 | 阅读(3510) | 评论(0)

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

hackeruncle | 2016-02-25 16:37:00 | 阅读(2550) | 评论(0)

【HADOOP】 Yarn上运行spark-1.6.0

Aquester | 2016-02-17 12:51:57 | 阅读(7790) | 评论(0)

Yarn上运行spark-1.6.0.pdf目录目录11. 约定12. 安装Scala 12.1. 下载22.2. 安装22.3. 设置环境变量23. 安装Spark 23.1. 下载23.2. 安装23.3. 配置33.3.1. 修改conf/spark-env.sh 34. 启动Spark 3...【阅读全文】

【HADOOP】 Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…

levy-linux | 2015-12-12 18:29:44 | 阅读(4070) | 评论(0)

Hadoop运行mapreduce实例时,抛出错误ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)at org.apach...【阅读全文】

【HADOOP】 Zookeeper客户端cli_st为何在crontab中运行不正常？

Aquester | 2015-11-25 13:07:33 | 阅读(4350) | 评论(1)

Zookeeper客户端cli_st为何在crontab中运行不正常？.pdf实践中，发现直接在命令行终端运行cli_st时，能够得到预期的结果，但一将它放到crontab中，则只收到：bye 相关的一段clit_st源代码如下： if (FD_ISSET(0, &rfd...【阅读全文】

【HADOOP】 Hive源码分析：Driver类运行过程

lzw_me | 2015-11-05 01:43:03 | 阅读(2740) | 评论(0)

hive源码分析【阅读全文】

【HADOOP】 hadoop群集运行job慢的问题

levy-linux | 2015-11-04 18:22:26 | 阅读(1510) | 评论(0)

近期业务需求使用ambari安装了新的hadoop群集，大概30台服务器，安装比较顺利，但是群集安装后，job运行的很慢，但可以完成，反复查找问题，hadoop参数调整优化，代码开发检查，反复的测试，群集的本地读写能力，就是慢，经过几天的奋战，终于找到问题的原因，竟然是有各别的datanode节点网络有问题，scp数据的时候每秒...【阅读全文】

【HADOOP】修改hadoop的备份系数dfs.replication后操作

levy-linux | 2015-10-27 21:53:55 | 阅读(2870) | 评论(0)

Hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3. 如何变更备份系数? 首先stop-...【阅读全文】

【HADOOP】 Hive源码分析：Driver类运行过程

Helianthus_lu | 2015-10-12 22:39:49 | 阅读(11210) | 评论(0)

hive源码分析【阅读全文】

首页
<<
1
2
3
4
>>
末页

网络110 报警服务