按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2194
清无 | 2017-01-07 12:29:21 | 阅读(620) | 评论(0)
1.启动hadoop, start-all.sh 启动hadoop2. copy local example data to hdfs     bin/hadoop jar contrib/streaming/hadoop-*streaming*.jar -file /home/hduser/reducer.py -reducer /home/hduser/reducer.py  bin/hadoop dfs -cat /user/hduser/gutenberg-output/part-00000【阅读全文】
清无 | 2017-01-06 23:45:06 | 阅读(90) | 评论(0)
1. 安装Java环境并配置好环境变量    export JAVA_HOME=/opt/java    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin2. 新建用户组及用户名 (用于隔离环境) ...【阅读全文】
清无 | 2017-01-06 23:28:24 | 阅读(60) | 评论(0)
root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format复制代码会出现datanode无法启动,查看日志,发现错误为:三、解决办法把配置文件中dfs.data.dir在本地系统的路径下的current/VERSION中的namespaceID改为与namenode一样。java.io.IOException: Incompatibl...【阅读全文】
【HADOOP】 hadoop归档文件
hxl | 2016-12-08 10:09:34 | 阅读(0) | 评论(0)
1.归档provcode=18目录下的所有文件hadoop archive -archiveName 20161206-18.har -p /hive/warehouse/richmail.db/t_part_usernumber_t1/statedate=20161206/provcode=18 /hive/warehouse/richmail.db/t_part_usernumber_t1/[flowrate@richinfo109 ~]$ hadoop fs -ls /hive/warehouse/richmail.db/t_part_usernumbe...【阅读全文】
enenshiwo | 2016-11-10 22:37:31 | 阅读(140) | 评论(0)
hadoop上下拉不同目录里的日志文件(日志名字相同),机器太多,是用*匹配的,因为日志名字相同,导致覆盖最后只有一份,想把日志全部拉下来不覆盖怎么拉?
【阅读全文】
linux521 | 2016-10-27 17:21:35 | 阅读(470) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
linux521 | 2016-10-27 17:21:25 | 阅读(490) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
xuqp001 | 2016-10-18 14:09:24 | 阅读(1570) | 评论(0)
给大家分享一套很好的大数据学习视频教程,高 ”逼格“的【大数据、云计算系统架构师高级课程】,震撼出炉 ,北风大数据课程全面升级了!1. 首次引入阿里云认证培训体系,阿里云官方讲师面授,阿里云官方认证,阿里云合作企业就业2.全真大数据企业环境实验,为客户提供的云端实验平台,让学员在课堂就能实践企业大数据真...【阅读全文】
jeffchencsj | 2016-09-25 20:20:09 | 阅读(300) | 评论(0)
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布...【阅读全文】
xiaomabetter | 2016-09-09 18:42:37 | 阅读(0) | 评论(0)
???????????????elk+redis???????????????????????????????els+kafka+rsyslog+hadoop-hdfs+zookeeper??????????????  ??????????A.rsyslogd???? ????? rsyslog?????? ??,??? rsyslog?? kafka??????? v8.7.0?汾???????????.??? ChangeLog ???????? V8.X??汾?仯. ????V8??????????RPM????Rsyslog-kafka??????,???yum???????,????yum???...【阅读全文】
呆若 | 2016-09-08 18:31:21 | 阅读(440) | 评论(0)
Hadoop、MapReduce、YARN和Spark的区别与联系转载:http://www.aichengxu.com/view/11030362015-03-17 16:37 本站整理 浏览(454) (1) Hadoop 1.0第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多...【阅读全文】
shilei1 | 2016-09-07 21:49:14 | 阅读(1830) | 评论(0)
目录目录11. 前言22. 部署32.1. 机器列表32.2. 主机名32.2.1. 临时修改主机名42.2.2. 永久修改主机名42.3. 免密码登录范围43. 约定53.1. 安装目录约定53.2. 服务端口约定64. 工作详单75. ...【阅读全文】
damofeixue64 | 2016-08-19 15:29:22 | 阅读(450) | 评论(0)
http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ,more 等中断后续数据处理的程序,直接的命令行 不支持管道关于管道:不要在streaming里mapper和reducer中使用管道,会出现”java.io.IOException: Broken pipe”错误。关于程序文件:如果使用的是非she...【阅读全文】
sanshugen | 2016-08-13 17:28:43 | 阅读(370) | 评论(0)
为公司数据统计平台需要 开始倒腾hadopp下载hadoop , 官网  http://hadoop.apache.org/  这里下载的是2.6.4已经编译过的版本 操作系统为 centos6.5   http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz下载解压后(  gunzip hadoop-2.6.4.tar.gz    tar -xv...【阅读全文】
dlagul | 2016-07-21 16:28:09 | 阅读(360) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
wenhq | 2016-07-08 14:22:18 | 阅读(750) | 评论(0)
hadoop 本地读优化SCR【阅读全文】
laoliulaoliu | 2016-07-02 21:26:33 | 阅读(470) | 评论(0)
原文地址:https://zhuanlan.zhihu.com/p/20953323作者:馨宁链接:https://zhuanlan.zhihu.com/p/20953323来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。介绍Hadoop的文章已经很多了,个人感觉这一篇还是写得不错的:Hadoop以前是,现在仍然是大数据批处理领域的王...【阅读全文】
aqiandao | 2016-06-08 15:39:21 | 阅读(340) | 评论(0)
  在2016云栖大会·武汉峰会上,阿里云技术专家宋杰分享了他对云计算的三条路径的理解和感悟,并且阐述了云计算对于企业而言到底意味着什么的问题。那么阿里大数据发展之路经历了哪三次技术突围?阿里又是如何通过十余年的技术沉淀最终铸就飞天系统的呢?本文将为你揭晓答案,精彩不容错过。  对于企业来说,但是到...【阅读全文】
sometimeixpub | 2016-05-31 08:48:02 | 阅读(700) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
【LINUX】 Centos优化Hadoop
刘遄 | 2016-05-26 21:43:46 | 阅读(480) | 评论(0)
导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组 进入如图 1-1 所示界面。 上半部分是系统定制的不同的...【阅读全文】