按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2200
dlagul | 2016-07-21 16:28:09 | 阅读(360) | 评论(0)
Hadoop简介        Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲,...【阅读全文】
wenhq | 2016-07-08 14:22:18 | 阅读(750) | 评论(0)
hadoop 本地读优化SCR【阅读全文】
laoliulaoliu | 2016-07-02 21:26:33 | 阅读(470) | 评论(0)
原文地址:https://zhuanlan.zhihu.com/p/20953323作者:馨宁链接:https://zhuanlan.zhihu.com/p/20953323来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。介绍Hadoop的文章已经很多了,个人感觉这一篇还是写得不错的:Hadoop以前是,现在仍然是大数据批处理领域的王...【阅读全文】
aqiandao | 2016-06-08 15:39:21 | 阅读(340) | 评论(0)
  在2016云栖大会·武汉峰会上,阿里云技术专家宋杰分享了他对云计算的三条路径的理解和感悟,并且阐述了云计算对于企业而言到底意味着什么的问题。那么阿里大数据发展之路经历了哪三次技术突围?阿里又是如何通过十余年的技术沉淀最终铸就飞天系统的呢?本文将为你揭晓答案,精彩不容错过。  对于企业来说,但是到...【阅读全文】
sometimeixpub | 2016-05-31 08:48:02 | 阅读(710) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
【LINUX】 Centos优化Hadoop
刘遄 | 2016-05-26 21:43:46 | 阅读(490) | 评论(0)
导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组 进入如图 1-1 所示界面。 上半部分是系统定制的不同的...【阅读全文】
libydwei2007 | 2016-05-26 11:57:44 | 阅读(900) | 评论(0)
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但...【阅读全文】
ZJ_Lavender | 2016-05-25 13:15:01 | 阅读(60) | 评论(0)
二度人脉算法:Hadoop实现【阅读全文】
linux_kaige | 2016-05-19 15:45:45 | 阅读(770) | 评论(0)
在Hadoop权威指南的第二张《关于mapreduce》中,提到了气象数据的分析问题,使用到Unix脚本,我就抽空把气象数据给下载下来,然后放到服务器上,用书中的脚本测试一下。实际发现书上有错误的地方,这么多年很少看书,第一次发现书中的错误,已圈红色:我按照上面的方式下载文件 ftp://ftp.ncdc.noaa.gov/pub/data/...【阅读全文】
woaimaidong | 2016-05-07 23:17:31 | 阅读(1620) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
oracle_ren | 2016-05-06 22:06:32 | 阅读(670) | 评论(0)
http://www.alliedjeep.com/22394.htm说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2...【阅读全文】
initrdimg | 2016-05-06 09:15:07 | 阅读(510) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
海峡 | 2016-04-27 18:59:36 | 阅读(790) | 评论(0)
http://www.thebigdata.cn/Hadoop/9572.html注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。  1.    ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户...【阅读全文】
Larpenteur | 2016-04-27 03:40:54 | 阅读(1500) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
精灵云 | 2016-04-26 12:05:36 | 阅读(120) | 评论(0)
玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM,但是大家可能还不知道,Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera,而且速度要比其他启动方式更快。【阅读全文】
1201520609 | 2016-04-25 11:11:20 | 阅读(60) | 评论(0)
【HADOOP】 hadoop+lucene
hiyachen | 2016-04-23 13:24:26 | 阅读(2050) | 评论(0)
hadoop+lucene【阅读全文】
【系统运维】 hadoop 常用命令
海峡 | 2016-04-22 14:01:04 | 阅读(760) | 评论(0)
Hadoop dfs –ls就是查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径;Hadoop dfs –rmr xxx就是删除目录,还有很多命令看看就很容易上手;Hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况;Hadoop job后面增加参数是对于当前运行的Job的操作,例如list,kill等;...【阅读全文】
jelon521 | 2016-04-20 17:58:13 | 阅读(800) | 评论(0)
zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题【阅读全文】
OowarrioroO | 2016-04-20 12:17:59 | 阅读(720) | 评论(0)
IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后,job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path【阅读全文】