博客首页 注册 建议与交流 排行榜 加入友情链接
推荐 投诉 搜索: 帮助

Gan's Blog

小记一些个人学习的东西, 如有版权问题请及时告之! :::欢迎转载,已经是转载的请使用原地址::: 转载请注名来源!

Unix/Linux、Oracle、数据存储、备份、复制、ETL、数据仓库
   gan.cublog.cn
关于作者  
姓名:gan
年龄:27
Email: ghk_love#163.com
职业:Oracle, Unix/Linux, C
!>> 想全了50%就可以行动了, 在行动中思考总结!

我的分类  




文件格式设计好难啊!
最近在设计一种文件格式,需要有小型数据库的功能(insert,update,delete,select),使用数据库来操作当然可以完成我们需要的功能,但效率上太慢,因为我们的数据很特殊,如果可以充分利用数据的特性来设计一个好的文件格式将操作起来特别快。

建议boss使用Berkeley DB,他说别提那破东西,上次就吃了他的亏,用户一旦把使用进程给kill了,这样数据库就很有可能起不来了,这个使用我们是一点解决办法也没有,说是Berkeley DB也可以使用归档日志情况来解决数据不一致的问题,但那样开销太大了。用户还得出来维护另外一个数据库。所以使用BDB的想法给否定了。

好的文件格式对处理速度上帮助非常大,我们知道Oracle 的ROWID,通过ROWID就可以直接定位到具体的文件中那一个块了,这样读取数据将非常块,通过ROWID来找数据几乎就没有什么查找时间了(省下的就是I/O时间了)。

上次也设计了一个中间交换需要的文件格式,对处理上要求也比较严格。看来设计文件格式真是一门很高深的技术。要做到尽量节省I/O读写,减少查找,快速定位。有时间还得在这方面再好好加强。

学习数据库文件格式设计应该是自己目前最想看的:http://blog.ednchina.com/exvision/283/message.aspx

DataBase File Format:
Clarion clarion.zip 33K Jerzy Tarasiuk Clarion文件格式,包括 .DAT/.K??/.I??/.MEM/.HLP/.APP文件(ZIP文档)
DBF DBASE FLIE FORMAT 7K multisoft Dbase数据库文件.DBF文件格式
DBF FILE STRUCTURE 4K Peter Mikalajunas .DBF文件格式,适用于 dBASE III/dBASE IV/Foxbase/Foxpro
NTX NTX file format 13K Cesar A. Gil Clipper NTX 文件格式说明
PARADOX paradox.rtf 62K Kevin Mitchell PARADOX4.0文件格式(RTF文档)
WKS wks.zip 22K Lotus公司 Lotus的 .WKS文件格式(ZIP文档)
XLS xls.txt 45K
EXCEL文件格式(文本文档)

要是谁知道Oracle, SQL Server, DB2, Sybase的文件格式那将是非常不错了。

 发表于: 2008-05-09,修改于: 2008-05-09 17:10 已浏览332次,有评论0条 推荐 投诉

  网友评论

  发表评论



Copyright © 2001-2006 ChinaUnix.net All Rights Reserved

感谢所有关心和支持过ChinaUnix的朋友们
页面生成时间:0.02726

京ICP证041476号