按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2200
lksoulman | 2017-02-14 14:45:05 | 阅读(930) | 评论(0)
本文主要介绍 Hadoop 运行 hadoop-examples-1.2.1.jar 包中 wordcount类统计文件中的单词个数。【阅读全文】
【HADOOP】 Hadoop常用命令
人道酬诚 | 2017-02-11 00:56:32 | 阅读(30) | 评论(0)
hadoop 和 hdfs 命令用法hadoop:Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]  CLASSNAME            run the class named CLASSNAME or  where COMMAND is one of:  fs                   run a gen...【阅读全文】
lksoulman | 2017-02-09 13:30:47 | 阅读(100) | 评论(0)
Hadoop 简单介绍和安装过程介绍【阅读全文】
【系统运维】 安装hadoop+zookeeper
chengxuyonghu | 2017-02-08 10:37:42 | 阅读(190) | 评论(0)
chengxuyonghu | 2017-01-24 16:41:02 | 阅读(190) | 评论(0)
一、安装JDK1.7 JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载后安装[plain] copy rpm -ivh jdk-8u112-linux-x64.rpm  设置JDK环境变量[plain] copy ...【阅读全文】
清无 | 2017-01-07 12:40:11 | 阅读(210) | 评论(0)
1. copyFromLocal  hadoop dfs -ls 输出:-rw-r--r-- 3 hduser supergroup 674566 2011-03-10 11:38 /user/hduser/gutenberg/pg20417.txt -rw-r--r-- 3 hduser supergroup 1423801 2011-03-10 11:38 /user/hduser/gutenberg/pg5000.txt3.rmr 删除文件夹  hadoop dfs -rmr /user/hduser...【阅读全文】
清无 | 2017-01-07 12:29:21 | 阅读(670) | 评论(0)
1.启动hadoop, start-all.sh 启动hadoop2. copy local example data to hdfs     bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -file /home/hduser/reducer.py -reducer /home/hduser/reducer.py  bin/hadoop dfs -cat /user/hduser/gutenberg-output/part-00000【阅读全文】
清无 | 2017-01-06 23:45:06 | 阅读(90) | 评论(0)
1. 安装Java环境并配置好环境变量    export JAVA_HOME=/opt/java    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin2. 新建用户组及用户名 (用于隔离环境) ...【阅读全文】
清无 | 2017-01-06 23:28:24 | 阅读(60) | 评论(0)
root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format复制代码会出现datanode无法启动,查看日志,发现错误为:三、解决办法把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。java.io.IOException: Incompatibl...【阅读全文】
【HADOOP】 hadoop归档文件
hxl | 2016-12-08 10:09:34 | 阅读(0) | 评论(0)
1.归档provcode=18目录下的所有文件hadoop archive -archiveName 20161206-18.har -p /hive/warehouse/richmail.db/t_part_usernumber_t1/statedate=20161206/provcode=18 /hive/warehouse/richmail.db/t_part_usernumber_t1/[flowrate@richinfo109 ~]$ hadoop fs -ls /hive/warehouse/richmail.db/t_part_usernumbe...【阅读全文】
enenshiwo | 2016-11-10 22:37:31 | 阅读(140) | 评论(0)
hadoop上下拉不同目录里的日志文件(日志名字相同),机器太多,是用*匹配的,因为日志名字相同,导致覆盖最后只有一份,想把日志全部拉下来不覆盖怎么拉?
【阅读全文】
linux521 | 2016-10-27 17:21:35 | 阅读(540) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
linux521 | 2016-10-27 17:21:25 | 阅读(560) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
xuqp001 | 2016-10-18 14:09:24 | 阅读(1700) | 评论(0)
给大家分享一套很好的大数据学习视频教程,高 ”逼格“的【大数据、云计算系统架构师高级课程】,震撼出炉 ,北风大数据课程全面升级了!1. 首次引入阿里云认证培训体系,阿里云官方讲师面授,阿里云官方认证,阿里云合作企业就业2.全真大数据企业环境实验,为客户提供的云端实验平台,让学员在课堂就能实践企业大数据真...【阅读全文】
jeffchencsj | 2016-09-25 20:20:09 | 阅读(300) | 评论(0)
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布...【阅读全文】
xiaomabetter | 2016-09-09 18:42:37 | 阅读(0) | 评论(0)
???????????????elk+redis???????????????????????????????els+kafka+rsyslog+hadoop-hdfs+zookeeper??????????????  ??????????A.rsyslogd???? ????? rsyslog?????? ??,??? rsyslog?? kafka??????? v8.7.0?汾???????????.??? ChangeLog ???????? V8.X??汾?仯. ????V8??????????RPM????Rsyslog-kafka??????,???yum???????,????yum???...【阅读全文】
呆若 | 2016-09-08 18:31:21 | 阅读(450) | 评论(0)
Hadoop、MapReduce、YARN和Spark的区别与联系转载:http://www.aichengxu.com/view/11030362015-03-17 16:37 本站整理 浏览(454) (1) Hadoop 1.0第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多...【阅读全文】
shilei1 | 2016-09-07 21:49:14 | 阅读(1950) | 评论(0)
目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】
damofeixue64 | 2016-08-19 15:29:22 | 阅读(460) | 评论(0)
http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ,more 等中断后续数据处理的程序,直接的命令行 不支持管道关于管道:不要在streaming里mapper和reducer中使用管道,会出现”java.io.IOException: Broken pipe”错误。关于程序文件:如果使用的是非she...【阅读全文】
sanshugen | 2016-08-13 17:28:43 | 阅读(370) | 评论(0)
为公司数据统计平台需要 开始倒腾hadopp下载hadoop , 官网  http://hadoop.apache.org/  这里下载的是2.6.4已经编译过的版本 操作系统为 centos6.5   http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz下载解压后(  gunzip hadoop-2.6.4.tar.gz    tar -xv...【阅读全文】