发布时间:2014-02-12 11:07:05
昨天安装hadoop-2.2.0时碰到了点问题,幸好今早过来就解决了,赶紧记一下配置过程,免得以后麻烦。环境:NameNode: CPU: 24核, Intel(R) Xeon(R) CPU X5680 @ 3.33GHz &n.........【阅读全文】
发布时间:2014-01-22 12:30:28
这几天在看spark0.8.1的源码,不禁被scala的简洁性折服,尤其是Actor的概念,在以往的程序设计中,我一直想找到一个基于Owner+Actor+Action的模型来简化设计,没想到Actor基本实现了我的想法,而且在分布式方面更超过我的预想。一直以为Scala会成为用户使用Spark的一个障碍,现在来看即使不用Spark,程序员也应该学习一下S.........【阅读全文】
发布时间:2013-12-21 10:38:42
在分布式存储解决方案中,当客户需要访问某块数据时(通过对象的id或者文件的路径及偏移量),首先要做的就是定位数据保存在哪一台服务器上。有两种做法,一种是单独指定一台或几台服务器来管理数据的位置映射,另一种是通过某种精巧设计的算法使用对象的id或者文件的路径及偏移量直接计算出位置。第一种方法虽然容易想.........【阅读全文】