按类别查询搜索结果
关于关键词 "HADOOP" 的检测结果,共 2194
libydwei2007 | 2016-05-26 11:57:44 | 阅读(890) | 评论(0)
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽然奇怪的组合也能工作,但...【阅读全文】
ZJ_Lavender | 2016-05-25 13:15:01 | 阅读(50) | 评论(0)
二度人脉算法:Hadoop实现【阅读全文】
linux_kaige | 2016-05-19 15:45:45 | 阅读(740) | 评论(0)
在Hadoop权威指南的第二张《关于mapreduce》中,提到了气象数据的分析问题,使用到Unix脚本,我就抽空把气象数据给下载下来,然后放到服务器上,用书中的脚本测试一下。实际发现书上有错误的地方,这么多年很少看书,第一次发现书中的错误,已圈红色:我按照上面的方式下载文件 ftp://ftp.ncdc.noaa.gov/pub/data/...【阅读全文】
woaimaidong | 2016-05-07 23:17:31 | 阅读(1600) | 评论(0)
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令,在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久,如有问题欢迎批评指正~非常感谢【阅读全文】
oracle_ren | 2016-05-06 22:06:32 | 阅读(670) | 评论(0)
http://www.alliedjeep.com/22394.htm说到处理大数据的工具,普通的开源解决方案(尤其是Apache Hadoop)堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测,在接下来几年,“100%的大公司”会采用Hadoop。Market Research的一份报告预测,到2011年,Hadoop市场会以58%的年复合增长率(CAGR)高速增长;到2...【阅读全文】
initrdimg | 2016-05-06 09:15:07 | 阅读(510) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
海峡 | 2016-04-27 18:59:36 | 阅读(790) | 评论(0)
http://www.thebigdata.cn/Hadoop/9572.html注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。  1.    ResourceManager相关配置参数   (1) yarn.resourcemanager.address   参数解释:ResourceManager 对客户...【阅读全文】
Larpenteur | 2016-04-27 03:40:54 | 阅读(1500) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
精灵云 | 2016-04-26 12:05:36 | 阅读(120) | 评论(0)
玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM,但是大家可能还不知道,Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera,而且速度要比其他启动方式更快。【阅读全文】
1201520609 | 2016-04-25 11:11:20 | 阅读(60) | 评论(0)
【HADOOP】 hadoop+lucene
hiyachen | 2016-04-23 13:24:26 | 阅读(2040) | 评论(0)
hadoop+lucene【阅读全文】
【系统运维】 hadoop 常用命令
海峡 | 2016-04-22 14:01:04 | 阅读(760) | 评论(0)
Hadoop dfs –ls就是查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径;Hadoop dfs –rmr xxx就是删除目录,还有很多命令看看就很容易上手;Hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况;Hadoop job后面增加参数是对于当前运行的Job的操作,例如list,kill等;...【阅读全文】
jelon521 | 2016-04-20 17:58:13 | 阅读(770) | 评论(0)
zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题【阅读全文】
OowarrioroO | 2016-04-20 12:17:59 | 阅读(720) | 评论(0)
IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后,job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path【阅读全文】
虹波2016 | 2016-04-19 10:13:51 | 阅读(16560) | 评论(0)
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。【阅读全文】
zhaoritian | 2016-04-18 10:50:18 | 阅读(200) | 评论(0)
hadoop找不到主类 export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar理解【阅读全文】
OowarrioroO | 2016-04-15 21:26:50 | 阅读(590) | 评论(0)
Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下:
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output【阅读全文】
zghover | 2016-04-14 15:54:55 | 阅读(1420) | 评论(0)
hadoop 安装【阅读全文】
海峡 | 2016-04-12 15:39:31 | 阅读(600) | 评论(0)
1、什么是yarn? 2、Yarn 和MapReduce相比,它有什么特殊作用 ?背景 Yarn是一个分布式的资源管理系统,用以提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改,...【阅读全文】
【架构设计与优化】 Hadoop进程启动过程分析
海峡 | 2016-04-11 21:27:15 | 阅读(610) | 评论(0)
hadoop 启动过程【阅读全文】