搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：网络安全服务器存储 Python 嵌入式敏捷 MongoDB WINDOWS

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 23 条

【HADOOP】 sqoop-export计算结果同步到mysql

hxl | 2017-04-17 17:42:19 | 阅读(0) | 评论(0)

#!/bin/shdatabase="terminal"sourceDataPath="/dmsdk/data/heartbeat/"tableName="exter_terminal_heartbeat"tmp_table="t_audit_out_heartbeat"terminal_table="t_audit_heartbeat"load_data(){ for day in `hadoop fs -ls $1|awk -F '/' '{print $5}'` ...【阅读全文】

【HADOOP】 R实现MapReduce的协同过滤算法

hiyachen | 2016-01-29 12:45:14 | 阅读(4030) | 评论(0)

R实现MapReduce的协同过滤算法【阅读全文】

【HADOOP】 hive 结合执行计划分析 limit 执行原理

Helianthus_lu | 2015-10-16 23:36:30 | 阅读(6050) | 评论(0)

hive计划执行【阅读全文】

【HADOOP】 Spark 中算子功能与分类介绍

OowarrioroO | 2015-07-22 17:01:18 | 阅读(2660) | 评论(0)

Spark 中算子功能与分类介绍 value型算子 Key-Value算子【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 22:50:51 | 阅读(2390) | 评论(0)

1.what is apache hadoop? 谁说大象不能跳舞？ 轻松应对海量数据存储与分析带来的挑战 2.海量数据： 量：大，数目多，数据量达到PB，ZB级别，条目数达到几十亿条，几百亿条 1）存储：分布式，集群的概念进行存储管理（主节点、从节点），HDFS（hadoop distribute file system） ...【阅读全文】

【HADOOP】云帆大数据_Hadoop从入门到上手企业开发----学习笔记

CuteB | 2015-07-05 21:30:03 | 阅读(1730) | 评论(0)

1.hadoop生成环境都是在linux环境下，hadoop 2.x开始支持win环境。掌握linux环境，熟悉基本命令和linux环境的基本配置。 2.vmware虚拟机环境的搭建 3.使用的是Centos 6.4    redhat 6.x 64位     。 4.linux系统环境的基本配置，配置ip地址，配置主机名，关闭防火墙等。 5.远...【阅读全文】

【HADOOP】合理设计及优化HBase数据库表入门

douyaqiang123 | 2015-06-30 16:38:43 | 阅读(1970) | 评论(0)

在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK，废话不再多说，接下来我们进入今天的正题吧~【阅读全文】

【HADOOP】合理设计及优化HBase数据库表入门

fengzhanhai | 2015-04-21 11:33:03 | 阅读(3970) | 评论(0)

【HADOOP】 shell调用hive执行汇总统计

hxl | 2014-11-28 17:32:10 | 阅读(0) | 评论(0)

点击(此处)折叠或打开#!/bin/shcurrent_sysdate=`date +"%Y-%m-%d %H:%M:%S"` dutyno=100statedate=$1month=`echo $statedate|cut -c1-6`year=`echo $...【阅读全文】

【HADOOP】 Hadoop计算中的Shuffle过程

willick | 2014-08-07 11:38:51 | 阅读(0) | 评论(0)

Hadoop计算中的Shuffle过程作者：左坚来源：清华万博时间:2013-07-02 15:04:44.0　　Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反...【阅读全文】

【HADOOP】基于hive的日志数据统计实战

double_lq | 2014-07-19 11:04:59 | 阅读(0) | 评论(0)

基于 hive 的日志数据统计实战一、 hive 简介 hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据...【阅读全文】

【HADOOP】 Hbase -- 表的设计

laoliulaoliu | 2014-04-28 21:03:24 | 阅读(1400) | 评论(0)

文章来源：http://my.oschina.net/breakjoa/blog/155186本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况...【阅读全文】

【HADOOP】看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

Aquester | 2014-04-19 11:33:41 | 阅读(3120) | 评论(0)

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。...【阅读全文】

【HADOOP】 Hadoop并行计算原理与分布式并发编程

吟风_骋 | 2014-04-09 16:59:36 | 阅读(0) | 评论(0)

Hadoop并行计算原理与分布式并发编程
【阅读全文】

【HADOOP】 Storm的wordCounter计数器详解

Aquester | 2014-03-31 22:56:37 | 阅读(5100) | 评论(0)

原文：http://www.maoxiangyi.cn/index.php/archives/362作者：毛祥溢发布：2013-08-26 18:19 分类：BigData, Storm 阅读：676次抢沙发 Storm的wordCounter计数器详解，这篇文章主要是介绍原理和实现 Demo拓扑package cn.jd.storm; import...【阅读全文】

【HADOOP】认识的误区：Hadoop=云计算

圣剑蓝骑士 | 2013-12-19 06:58:29 | 阅读(930) | 评论(0)

最近看到清华大学出版社发行的一本新书，《深入浅出云计算》出版时间是2012-10-01日，如图1所示。我以为这是一本科普型读物，是加深读者对云计算的认识的书籍，毕竟云计算覆盖的领域太广了。泛读后发现完全不是这么回事。全书基本上都是在讲Hadoop以及Hadoop生态圈里面的相关工具和技术。如图2所示：我由此联想到前...【阅读全文】

【HADOOP】 Hadoop如何实现关联计算

jiongtoast | 2013-11-05 08:39:29 | 阅读(770) | 评论(0)

hadoop如何实现关联计算。【阅读全文】

【HADOOP】认识的误区：Hadoop=云计算

jieforest | 2013-10-12 10:01:09 | 阅读(2800) | 评论(0)

【HADOOP】 hadoop平台下用mapreduce实现单源最短路径算法（两种实现）

圣剑蓝骑士 | 2013-07-31 12:06:02 | 阅读(2310) | 评论(0)

以下为实现时用到的包及其职责 com.ouyang.chk包含检测迭代能否停止的mapreduce任务的一些类com.ouyang.driver程序的入口com.ouyang.graph图的...【阅读全文】

【HADOOP】特别培训计划正式启动

sxjfu02 | 2013-07-22 17:29:30 | 阅读(360) | 评论(0)

内蒙古鄂温克旗启动家庭服务从业人员“特别培训计划”当前各地各市的家庭服务培训层出不穷，让我们有如沐春风之感，深切的感受到各地政府对于发展家庭服务业的信心。7月15日，随着伊敏河镇家政月嫂培训班的开班，鄂温克旗家庭服务业从业人员“特别培训计划”正式启动。　　为全面推进家庭服务业从业人...【阅读全文】

网络110 报警服务