这次是工作真的需要,而不像以前凭兴趣随便看看。挑战最大的是Java环境的生产系统+严格的安全管控,而不再像以前经典舒服的的LAMP非生产系统了~
以下为需要深入了解条目记录:
分布式文件系统:
:一个开源的轻量级分布式文件系统;
:实现的是分布式的文件系统HDFS,和分布式的计算(Map/Reduce)框架,Hadoop包含一系列扩展项目,包括了分布式文件数据库HBase(对应Google的BigTable),分布式协同服务ZooKeeper(对应Google的Chubby),Hive提供数据汇总和随机查询的数据仓库基础设施,Pig用于并行计算的高级数据流语言和执行框架,社会网络分析工具包X-RIME等等;
:开源的Lustre技术,由美国能源部(Department Of Energy)开发,惠普公司(HP)提供商业支持;
:也是开源的,具体待查;
:一个Linux PB级分布式文件系统,暂时不适合生产系统;
TFS:Taobao FileSystem,淘宝的开源分布式文件系统,不知道能走多远;
阅读(496) | 评论(0) | 转发(0) |