flume +　spark streaming(pull模式) + Elasticsearch_bill_cpp-ChinaUnix博客

Chinaunix首页 | 论坛 | 博客

bill_cpp的ChinaUnix博客

首页　| 　博文目录　| 　关于我

博客访问： 71759
博文数量： 29
博客积分： 0
博客等级：民兵
技术积分： 272
用户组：普通用户
注册时间： 2015-01-05 20:32

文章分类

全部博文（29）

apache（2）

flume（1）

kafka（1）
个人（1）
机器学习（1）
mysql（1）
R（7）
python（8）

python基础（8）
C/C++（4）
python爬虫（5）
未分配的博文（0）

文章存档

2016年（2）

2015年（27）

我的朋友

最近访客

推荐博文

flume +　spark streaming(pull模式) + Elasticsearch

发布时间：2016-06-04 11:23:52

spark streaming以flume为数据源(pull模式)是可以保证不丢数据的，但是经测试发现如果spark streaming挂掉的话，channel中存如太多的数据会导致flume启动慢的问题。......【阅读全文】

阅读(1373) | 评论(1) | 转发(0)

给主人留下些什么吧！~~

留言热议

请登录后留言。

关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们