Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6267202
  • 博文数量: 2759
  • 博客积分: 1021
  • 博客等级: 中士
  • 技术积分: 4091
  • 用 户 组: 普通用户
  • 注册时间: 2012-03-11 14:14
文章分类

全部博文(2759)

文章存档

2019年(1)

2017年(84)

2016年(196)

2015年(204)

2014年(636)

2013年(1176)

2012年(463)

发布时间:2014-08-12 10:01:55

本文从外部消息在worker进程内部的转化,传递及处理过程入手,一步步分析在worker-data中的数据项存在的原因和意义。试图从代码实现的角度来回答,如果是从头开始实现worker的话,该如何来定义消息接口,如何实现各自接口上的消息处理。Topology到Worker的映射关系Topology由Spout,Bolt组成,其逻辑关系大体如下.........【阅读全文】

阅读(1491) | 评论(0) | 转发(0)

发布时间:2014-08-12 09:56:32

个人理解:storm是一个分布式、实时、流、计算、平台,几个特性从这名字中已经看出来了。 一、实时,简单理解就是数据进入系统要迅速被处理,也就是延迟要小。 二、流,流具有什么特点,想象一下你站在长江岸边,什么感觉,震撼?浩荡?小弟没看过,我理解的流就是①没有阻塞②方向只能从高到低③流之.........【阅读全文】

阅读(915) | 评论(0) | 转发(0)

发布时间:2014-08-12 09:53:07

一、简要介绍        对于大数据的处理,在离线方面,Hadoop很完美地解决了,对于实时数据的处理则无能为力。        Storm是一个开源的分布式实时计算系统,可以简单、可靠地处理大量的数据流。      .........【阅读全文】

阅读(877) | 评论(0) | 转发(0)

发布时间:2014-02-06 04:52:24

1. Consumer behaviour is the study of when,why,how and where people do or don't buy a product。用户行为一般指用户通过中间资源,购买、使用和评价某种产品的记录。同时辅以用户、资源、产品自身及环境的信息。用户行为记录一般可以表示一组属性的集合:{属性1,属性2,...,属性N}2. 用户行为分析主要是研究.........【阅读全文】

阅读(1221) | 评论(0) | 转发(0)

发布时间:2014-01-08 04:31:37

1. 充分利用大数据,并由此获得巨额的收益。Google可以称得上是精通此道的鼻祖。据说,Google每个月要处理900亿次的web搜索,为此每月需要处理的数据量高达600PB。注意:1PB=100万GB2. 搜索关键字建议,都是对庞大的数据搜索历史记录进行分析后得出的。例如:Amazon推出了商品推荐系统。3. facebook可以为用户提供类似“.........【阅读全文】

阅读(913) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册