搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Windows H3C Java PHP WINDOWS AIX ubuntu FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

关于关键词的检测结果，共 1134 条

【HADOOP】 Hadoop Short Circuit Local Read Improve performance and security

wenhq | 2016-07-08 14:22:18 | 阅读(1680) | 评论(0)

hadoop 本地读优化SCR【阅读全文】

【架构设计与优化】技术分享丨关于 Hadoop 的那些事儿

laoliulaoliu | 2016-07-02 21:26:33 | 阅读(1110) | 评论(0)

原文地址：https://zhuanlan.zhihu.com/p/20953323作者：馨宁链接：https://zhuanlan.zhihu.com/p/20953323来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。介绍Hadoop的文章已经很多了，个人感觉这一篇还是写得不错的：Hadoop以前是，现在仍然是大数据批处理领域的王...【阅读全文】

【IT业界】从Greenplum到Hadoop，再到目前的阿里大数据

aqiandao | 2016-06-08 15:39:21 | 阅读(1070) | 评论(0)

　　在2016云栖大会·武汉峰会上，阿里云技术专家宋杰分享了他对云计算的三条路径的理解和感悟，并且阐述了云计算对于企业而言到底意味着什么的问题。那么阿里大数据发展之路经历了哪三次技术突围?阿里又是如何通过十余年的技术沉淀最终铸就飞天系统的呢?本文将为你揭晓答案，精彩不容错过。　　对于企业来说，但是到...【阅读全文】

【LINUX】 Centos优化Hadoop

刘遄 | 2016-05-26 21:43:46 | 阅读(2230) | 评论(0)

导读Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序，本节讲安装并且优化centos 6.7 系统下的Supper Hadoop。 1、系统安装类型选择及自定义额外包组进入如图 1-1 所示界面。上半部分是系统定制的不同的...【阅读全文】

【大数据】一文看懂大数据的技术生态圈，Hadoop，hive，spark都有了

libydwei2007 | 2016-05-26 11:57:44 | 阅读(1700) | 评论(0)

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但...【阅读全文】

【NOSQL】二度人脉算法:广度搜索算法，Hadoop实现

ZJ_Lavender | 2016-05-25 13:15:01 | 阅读(620) | 评论(0)

二度人脉算法:Hadoop实现【阅读全文】

【HADOOP】 Hadoop之气象数据分析Unix脚本验证（awk）

linux_kaige | 2016-05-19 15:45:45 | 阅读(2740) | 评论(0)

在Hadoop权威指南的第二张《关于mapreduce》中，提到了气象数据的分析问题，使用到Unix脚本，我就抽空把气象数据给下载下来，然后放到服务器上，用书中的脚本测试一下。实际发现书上有错误的地方，这么多年很少看书，第一次发现书中的错误，已圈红色：我按照上面的方式下载文件 ftp://ftp.ncdc.noaa.gov/pub/data/...【阅读全文】

【HADOOP】 Hadoop大数据平台运维工程师须掌握的基本命令集分享

woaimaidong | 2016-05-07 23:17:31 | 阅读(3500) | 评论(0)

本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢【阅读全文】

【Oracle】与Hadoop和大数据相关的顶级开源工具

oracle_ren | 2016-05-06 22:06:32 | 阅读(1410) | 评论(0)

http://www.alliedjeep.com/22394.htm说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率（CAGR）高速增长；到2...【阅读全文】

【架构设计与优化】 Hadoop YARN配置参数剖析(1)—RM与NM相关参数

海峡 | 2016-04-27 18:59:36 | 阅读(1510) | 评论(0)

http://www.thebigdata.cn/Hadoop/9572.html注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。　　1. ResourceManager相关配置参数　　（1） yarn.resourcemanager.address 　　参数解释：ResourceManager 对客户...【阅读全文】

【HADOOP】 hadoop+lucene

hiyachen | 2016-04-23 13:24:26 | 阅读(4080) | 评论(0)

hadoop+lucene【阅读全文】

【系统运维】 hadoop 常用命令

海峡 | 2016-04-22 14:01:04 | 阅读(1340) | 评论(0)

Hadoop dfs –ls就是查看/usr/root目录下的内容，默认如果不填路径这就是当前用户路径；Hadoop dfs –rmr xxx就是删除目录，还有很多命令看看就很容易上手；Hadoop dfsadmin –report这个命令可以全局的查看DataNode的情况；Hadoop job后面增加参数是对于当前运行的Job的操作，例如list,kill等；...【阅读全文】

【LINUX】 zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题

jelon521 | 2016-04-20 17:58:13 | 阅读(2490) | 评论(0)

zookeeper、hadoop、hbase、redis、rabbitMQ单机部署及遇到的问题【阅读全文】

【HADOOP】 IntelliJ IDEA 开发hadoop 配置与打jar包

OowarrioroO | 2016-04-20 12:17:59 | 阅读(4100) | 评论(0)

IntelliJ IDEA 开发hadoop 配置与打jar包
1. 安装intelliJ环境
2.基本开发需要导入的jar包
3. map-reduce程序基本框架
4. intelliJ 完成 hadoop可执行jar包生成
?5. 生成jar包后，job提交
hadoop jar ./out/artifacts/invertedList/invertedList.jar hdfs_input_path hdfs_output_path【阅读全文】

【大数据】关于hadoop 导入export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar的个人理解

zhaoritian | 2016-04-18 10:50:18 | 阅读(6540) | 评论(0)

hadoop找不到主类 export HADOOP_CLASSPATH=$JAVA_HOME/lib/tools.jar理解【阅读全文】

【HADOOP】 Hadoop 提交任务执行流程总结

OowarrioroO | 2016-04-15 21:26:50 | 阅读(3100) | 评论(0)

Hadoop 提交任务执行流程总结
用流水线可表示任务执行流程如下：
input(k1,v1) -> map -> (k2,v2) -> combine -> shuffle(partitioner) -> sort -> (k2,v2) -> reduce -> (k3,v3) ->output【阅读全文】

【LINUX】 hadoop在linux下的安装笔记

zghover | 2016-04-14 15:54:55 | 阅读(2280) | 评论(0)

hadoop 安装【阅读全文】

【架构设计与优化】 hadoop 2。5以后没有job和task进程，优化了hadoop的架构

海峡 | 2016-04-12 15:39:31 | 阅读(1630) | 评论(0)

1、什么是yarn？ 2、Yarn 和MapReduce相比，它有什么特殊作用？背景 Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，...【阅读全文】

【架构设计与优化】 Hadoop进程启动过程分析

海峡 | 2016-04-11 21:27:15 | 阅读(1430) | 评论(0)

hadoop 启动过程【阅读全文】

【大数据】 hadoop集群快速搭建

dusir120 | 2016-04-10 17:15:45 | 阅读(2040) | 评论(0)

我们将部署一个两节点的hadoop集群，集群架构如下图： 2016-04-10 05.png【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务