Chinaunix首页 | 论坛 | 博客
  • 博客访问: 68465
  • 博文数量: 13
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 174
  • 用 户 组: 普通用户
  • 注册时间: 2013-08-19 18:05
文章分类

全部博文(13)

文章存档

2015年(1)

2014年(9)

2013年(3)

我的朋友

分类: 大数据

2014-03-22 12:31:24



Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍。Tachyon都是在内存中处理缓存文件,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。

它现在还处于开发状态,刚刚发布Alpha版本。当前它采用HDFS作为存储底层,在单个结点上支持本地文件系统。

Tachyon速度快得益于lineage-based recovery。以往实现容错往往需要copy多份副本,Tachyon没有这么做,它是靠保存程序来实现容错机制的。比如一个程序P,输入为A,输出为B,Tachyon保存的是程序P而不是B的多个副本,当B丢失找不到时,通过输入A重新生成B。        

当然,实现lineage-based,这里需要三个前提:  
1)数据是不变的  
2)对于相同的输入,只有一个确定的输出  
3)程序的大小远小于数据的大小  

以上个人大体上的理解,更详细的信息见:

[tachyon主页]()
  
[Tachyon: Memory Throughput I/O for Cluster Computing Frameworks](~haoyuan/papers/2013_ladis_tachyon.pdf)
阅读(2756) | 评论(0) | 转发(0) |
0

上一篇:构建mysql调试环境

下一篇:linux 下hook函数

给主人留下些什么吧!~~