spark 状态转移图之 DAG schedular

炸酱面的博客

首页　| 　博文目录　| 　关于我

zjmwqx

博客访问： 183869
博文数量： 29
博客积分： 0
博客等级：民兵
技术积分： 601
用户组：普通用户
注册时间： 2013-07-03 18:51

个人简介

大数据算法，分布式技术，spark技术爱好者

文章分类

全部博文（29）

统计（0）
思考（1）
分布式SPARK（5）
数学的艺术（2）
java（3）
Infomedia（0）
嵌入式（18）

UC（2）

一个操作系统的实（0）

汇编语言（16）
未分配的博文（0）

文章存档

2015年（4）

2015年09月（1）
2015年07月（2）
2015年01月（1）

2014年（3）

2013年（22）

我的朋友

最近访客

推荐博文

spark 状态转移图之 DAG schedular

发布时间：2015-01-21 21:18:50

因为spark的dag schedular处理了大部分的任务出错后处理的逻辑，因为我们要写自己的类spark系统，专门对dag schedular的状态转移做了分析。如下图：以DAG schedular展开，顺便画了消息的来源：taskschedular和sparkcontext，均画在左边，并不是表示调度的顺序。.........【阅读全文】

阅读(4121) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

留言热议

请登录后留言。

登录注册

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6