搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Windows 网络安全 .net C++ AIX 信息移动开发 FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【HADOOP】 Hadoop运行hadoop-examples-1.2.1.jar(wordcount)

lksoulman | 2017-02-14 14:45:05 | 阅读(2060) | 评论(0)

本文主要介绍 Hadoop 运行 hadoop-examples-1.2.1.jar 包中 wordcount类统计文件中的单词个数。【阅读全文】

【HADOOP】 Hadoop常用命令

人道酬诚 | 2017-02-11 00:56:32 | 阅读(460) | 评论(0)

hadoop 和 hdfs 命令用法hadoop:Usage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs run a gen...【阅读全文】

【HADOOP】 Hadoop初识和安装

lksoulman | 2017-02-09 13:30:47 | 阅读(790) | 评论(0)

Hadoop 简单介绍和安装过程介绍【阅读全文】

【系统运维】安装hadoop+zookeeper

chengxuyonghu | 2017-02-08 10:37:42 | 阅读(640) | 评论(0)

【阅读全文】

【系统运维】 spark和zeppelin实践一：安装hadoop篇

chengxuyonghu | 2017-01-24 16:41:02 | 阅读(920) | 评论(0)

一、安装JDK1.7 JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载后安装[plain] copy rpm -ivh jdk-8u112-linux-x64.rpm 设置JDK环境变量[plain] copy ...【阅读全文】

【HADOOP】 Hadoop-常用shell命令

清无 | 2017-01-07 12:40:11 | 阅读(890) | 评论(0)

1. copyFromLocal hadoop dfs -ls 输出：-rw-r--r-- 3 hduser supergroup 674566 2011-03-10 11:38 /user/hduser/gutenberg/pg20417.txt -rw-r--r-- 3 hduser supergroup 1423801 2011-03-10 11:38 /user/hduser/gutenberg/pg5000.txt3.rmr 删除文件夹 hadoop dfs -rmr /user/hduser...【阅读全文】

【HADOOP】 Hadoop-将python代码运行在hadoop上

清无 | 2017-01-07 12:29:21 | 阅读(1720) | 评论(0)

1.启动hadoop, start-all.sh 启动hadoop2. copy local example data to hdfs bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -file /home/hduser/reducer.py -reducer /home/hduser/reducer.py bin/hadoop dfs -cat /user/hduser/gutenberg-output/part-00000【阅读全文】

【HADOOP】 Hadoop-Fedora24搭建Hadoop

清无 | 2017-01-06 23:45:06 | 阅读(870) | 评论(0)

1. 安装Java环境并配置好环境变量 export JAVA_HOME=/opt/java export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin2. 新建用户组及用户名（用于隔离环境） ...【阅读全文】

【HADOOP】 hadoop-datanode启动不起来解决方案

清无 | 2017-01-06 23:28:24 | 阅读(920) | 评论(0)

root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format复制代码会出现datanode无法启动，查看日志，发现错误为：三、解决办法把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。java.io.IOException: Incompatibl...【阅读全文】

【HADOOP】 hadoop归档文件

hxl | 2016-12-08 10:09:34 | 阅读(0) | 评论(0)

1.归档provcode=18目录下的所有文件hadoop archive -archiveName 20161206-18.har -p /hive/warehouse/richmail.db/t_part_usernumber_t1/statedate=20161206/provcode=18 /hive/warehouse/richmail.db/t_part_usernumber_t1/[flowrate@richinfo109 ~]$ hadoop fs -ls /hive/warehouse/richmail.db/t_part_usernumbe...【阅读全文】

【HADOOP】 hadoop不同路径相同文件名不覆盖

enenshiwo | 2016-11-10 22:37:31 | 阅读(2040) | 评论(0)

hadoop上下拉不同目录里的日志文件（日志名字相同），机器太多，是用*匹配的，因为日志名字相同，导致覆盖最后只有一份，想把日志全部拉下来不覆盖怎么拉？
【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

linux521 | 2016-10-27 17:21:25 | 阅读(1230) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【Java】大数据Hadoop、云计算系统架构师高级培训课程分享

xuqp001 | 2016-10-18 14:09:24 | 阅读(2680) | 评论(0)

给大家分享一套很好的大数据学习视频教程，高 ”逼格“的【大数据、云计算系统架构师高级课程】，震撼出炉，北风大数据课程全面升级了！1. 首次引入阿里云认证培训体系，阿里云官方讲师面授，阿里云官方认证，阿里云合作企业就业2.全真大数据企业环境实验，为客户提供的云端实验平台，让学员在课堂就能实践企业大数据真...【阅读全文】

【HADOOP】 hadoop和spark的区别

jeffchencsj | 2016-09-25 20:20:09 | 阅读(1940) | 评论(0)

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布...【阅读全文】

【系统运维】 elk+kafka+rsyslog+hadoop-hdfs+zookeeper??????????

xiaomabetter | 2016-09-09 18:42:37 | 阅读(0) | 评论(0)

???????????????elk+redis???????????????????????????????els+kafka+rsyslog+hadoop-hdfs+zookeeper?????????????? ??????????A.rsyslogd???? ????? rsyslog?????? ??,??? rsyslog?? kafka??????? v8.7.0?汾???????????.??? ChangeLog ???????? V8.X??汾?仯. ????V8??????????RPM????Rsyslog-kafka??????,???yum???????,????yum???...【阅读全文】

【大数据】 Hadoop、MapReduce、YARN和Spark的区别与联系

呆若 | 2016-09-08 18:31:21 | 阅读(2070) | 评论(0)

Hadoop、MapReduce、YARN和Spark的区别与联系转载:http://www.aichengxu.com/view/11030362015-03-17 16:37 本站整理浏览(454) （1） Hadoop 1.0第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多...【阅读全文】

【HADOOP】 Hadoop-2.7.2分布式安装手册

shilei1 | 2016-09-07 21:49:14 | 阅读(11410) | 评论(0)

目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】

【LINUX】 hadoop awk streaming program

damofeixue64 | 2016-08-19 15:29:22 | 阅读(1770) | 评论(0)

http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ，more 等中断后续数据处理的程序，直接的命令行不支持管道关于管道：不要在streaming里mapper和reducer中使用管道，会出现”java.io.IOException: Broken pipe”错误。关于程序文件：如果使用的是非she...【阅读全文】

【HADOOP】 hadoop学习笔记(1)

sanshugen | 2016-08-13 17:28:43 | 阅读(2020) | 评论(0)

为公司数据统计平台需要开始倒腾hadopp下载hadoop ，官网 http://hadoop.apache.org/ 这里下载的是2.6.4已经编译过的版本操作系统为 centos6.5 http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz下载解压后（ gunzip hadoop-2.6.4.tar.gz tar -xv...【阅读全文】

【HADOOP】 Hadoop集群完全分布式模式环境部署

dlagul | 2016-07-21 16:28:09 | 阅读(2100) | 评论(0)

Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务