数据整合与存储网格应用于数字图书馆

     现在，不论是国家、各地区各行业图书馆的技术并不兼容，目前没有统一的标准，各个资源库之间不兼容，很容易造成国家在人力、物力上的浪费，重复的数据采集与存储是单一数据库模型面临的主要问题。

     数据管理新模式

    数据仓库，和数据库虽然只有一字之差，但是，数据仓库和我们经常提到的数据库有本质的区别。读者和用户在不断地进步，会有新的需求提出，当联机事务处理系统应用到一定阶段的时候，单位的领导就会发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；需要对自身业务的运作以及整个网络图书馆发展的态势进行分析，从而做出有利的决策。 数据仓库并非是一个仅仅存储数据的简单信息库，因为这实际上与传统数据库没有两样。利用数据仓库概念建立网络图书馆的数据系统，就可以实现“以大型数据管理信息系统为基础的、附加在这个数据库系统之上的、存储了网络图书馆所有业务数据库中获取的综合数据的、并能利用这些综合数据为用户提供经过处理后的有用信息的应用系统”（如图1）。

 

如果说传统数据库系统的重点与要求是快速、准确、安全、可靠地将数据存进数据库中的话，那么数据仓库的重点与要求就是能够准确、安全、可靠地从数据库中取出数据，经过加工转换成有规律信息之后，再供管理人员进行分析使用。传统图书馆数据的管理模式将被打破，取而代之的是统一的、互连的、开放式、全球信息资源共建共享服务新模式。这就需要引入更加先进的数据模型，只有这样，才能在新的信息环境中处于不败之地。 数据仓库整合数据

 

“存储网格”带来未来

      网格计算之父——Ian Foster 曾在《网格：21 世纪信息技术基础设施的蓝图》一书中这样描述网格：“网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格功能则更多更强，让人们透明地使用计算、存储等其他资源。” 除去能够进行分布式大规模运算的网格计算机外，存储网格的重要地位也正日益凸显。众所周知，网络中的每一项运算都必须有强大的存储功能提供支持，而该功能背后的关键就是要使分布式数据库、存储设备、文件系统等多个层面的技术应用进行有机整合，从而构成一个理想的网格存储环境。 网格技术应用在各个应用和支撑层面都意味着可以利用更多的资源来为自身服务，而在这个过程中，由于各类不同系统的存在，迫使各个数字图书馆必须将“统一”格式作为一项重要工作，设法达到网格系统的灵活性、简单性、低成本的最佳状态。 存储网格既可应用于SAN环境，又可应用于NAS环境，是对其他网格计算的理想补充。它提供快速简单的对于容量、性能、服务质量和/或连接协议的可升级性，可对所有图书和多媒体数据进行统一查看和管理，远远超出当前有限的虚拟化实现途径，还可优化分布式的电子图书馆远程数据访问的性能。存储网格架构可实现数据库和图书馆之间更紧密的应用整合，提供更高的数据保护，并可可以更简单地管理数据资源。这些优势极大降低了用户在购买、扩容和管理时的费用（如图2）。 未来的存储属于“存储网格” 网格模式下的知识获取机制使得知识获取活动可以在网格的支持下，进行协作来完成。知识获取本身是人工的过程，通常情况下是借助一些来帮助人们完成知识获取的活动。理论上，不需要一种绝对自动和万能的知识获取工具，但是，知识获取过程本身是一个将人类知识外在化的一个过程，或者说，是人脑中的知识数字化的过程。网格模式下的知识获取机制主要利用了网格对于分布式知识资源共享的功能，便于教育部门获得足够的支持和共享，从而完成教育体系知识库建设的关键一步。

 

存储技术的基础

     ◎SCSI SCSI（Small Computer System Interface，小型计算机系统接口）是一种高性能计算机外部设备接口。通过这个接口，所有连接到PC的外部设备均可通过HBA（Host Bus Adapter，主机总线适配器）实现彼此间独立于主机的数据传输和分发。SCSI产生于1979年，这一协议不断发展，Ultra2 SCSI 接口方式采用双通道来提高总体传输速率，在8位数据总线上就可达到40MB/s的传输速率，16位宽度则可达到80MB/s的传输速率，而Ultra 3 SCSI接口标准，传输率为320MB/s。

 

   直至今日，串行SCSI成为了存储设备领域里，具有层结构和良好体系结构的协议标准，成为其他存储相关技术的基础。SCSI协议的主要功能是在主机和存储设备之间传送命令、状态和块数据，因为位于操作系统和外部资源之间，应用程序一般将数据作为文件或者记录来访问。文件系统以目录、文件夹和文件的方式来创建人们可读的数据抽象。当一个用户的应用程序打开一个文件时，会引发一系列的进程。它们使用底层SCSI命令，控制数据块从存储系统到内存的安全传输。 ◎RAID 独立冗余磁盘阵列最初叫做廉价冗余磁盘阵列（Redundant Array of Inexpensive Disks），它的出现是为了实现多个小容量、独立的硬盘组成阵列，超越超过单一昂贵大容量硬盘（SLED）的性价比。由于是对多个磁盘并行操作，所以RAID磁盘子系统与单一磁盘相比它的输入输出性能得到了提高。

 

   服务器会把RAID阵列看成一个单一的存储单元，并对几个磁盘同时访问，所以提高了输入输出的速率。 RAID分为不同冗余类型和级别，不同的级别可以提高逻辑驱动器的故障容许度和性能，但也会减少逻辑驱动器的可用容量，例如我们熟知的RAID 1，3和5。我们在这里简单补充一下，比如：RAID 0是没有冗余，它可由一个或多个物理驱动器组成；RAID 1是镜像冗余，它在一个阵列中使用两个物理驱动器存储完全相同的数据；RAID 3为专用奇偶校验冗余，即所有的冗余数据都存储在一个专用的磁盘上；RAID 5为分散奇偶校验冗余，即阵列中的冗余数据分散存储在阵列中所有磁盘上；这其中3和5至少需要三个物理驱动器。

 

   但是，一般的阵列其阵列配置信息（磁盘分组、RAID划分信息），都存放在阵列控制器上，一旦控制器出现问题，那么存放在控制器上的配置信息就会完全丢失，即使更换新的控制器控制信息也无法挽回，那么硬盘上的数据就会丢失，给用户造成无法估量的损失。在我们了解到的信息化建设起步较晚的中小学多采用服务器本地磁盘阵列存储技术，这都为这些学校的数字图书馆建设埋下了隐患。