Chinaunix首页 | 论坛 | 博客
  • 博客访问: 180271
  • 博文数量: 29
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 601
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-03 18:51
个人简介

大数据算法,分布式技术,spark技术爱好者

文章分类

全部博文(29)

文章存档

2015年(4)

2014年(3)

2013年(22)

发布时间:2015-01-21 21:18:50

因为spark的dag schedular处理了大部分的任务出错后处理的逻辑,因为我们要写自己的类spark系统,专门对dag schedular的状态转移做了分析。如下图:以DAG schedular展开,顺便画了消息的来源:taskschedular和sparkcontext,均画在左边,并不是表示调度的顺序。.........【阅读全文】

阅读(4029) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册