这几天在看spark0.8.1的源码,不禁被scala的简洁性折服,尤其是Actor的概念,在以往的程序设计中,我一直想找到一个基于Owner+Actor+Action的模型来简化设计,没想到Actor基本实现了我的想法,而且在分布式方面更超过我的预想。一直以为Scala会成为用户使用Spark的一个障碍,现在来看即使不用Spark,程序员也应该学习一下Scala.
Spark0.8.1的Scheduler有StandAlone, Mesos和Yarn几种,这里只从最简单的StandAlone入手,由于只是根据代码形成的,没有实际运行测试,个别地方也许会有错误,欢迎指正。后续会有更新。
阅读(7989) | 评论(0) | 转发(0) |