新华社新闻数据存储系统应用案例

新华社多媒体数据库汇集新华社文字、图片、图表、音视频、报刊等全部资源和社会上其他有价值的新闻信息资源，是国内最大规模的多媒体、多文种新闻信息综合性数据库。文字系统不仅收录了新华社全部原创新闻信息，还汇集了大量的海内外媒体数据资源。通过整理加工形成的数百个特色鲜明的新闻信息产品，以其丰富的内容为广大用户提供诚信的服务。

　　从2002年开始建设的多媒体数据库及其应用系统，目标是把多媒体数据库建成新华社统一的数据存储和管理平台，全社的采编系统、办公信息化系统、发布系统、通信供稿系统等都要挂接到这个平台上，并成为统一平台的应用系统。

　　报刊数据库建设项目是多媒体数据库建设工程中重要的项目之一，目标是充分发挥新华社——国家通讯社作用，丰富新华社的新闻信息资源，为落地统计、报刊管理、新闻监督等应用提供数据基础。为了满足这些应用，新华社进一步扩容了存储系统，存储报刊数据库的海量报刊版面数据。

　　系统需求 　　

新华社数据中心的报刊数据库和多媒体数据库，是全社所有业务系统集中进行数据存储、数据交换的平台。通过多媒体数据库和报刊数据库的建设，把相关应用系统和多媒体数据库实现关联，形成数据库和应用系统之间的合理体系结构，充分发挥数据中心的作用。

　　新华社目前在线数据近30TB，近线数据和离线数据超过200TB。为了能够很好的管理这些海量数据，同时全面提升系统的数据存储和数据交换的性能，需要对现有主机及存储设备进行全面扩容，并对主机、存储、网络、数据库及应用等各个方面进行优化。

　　解决方案

　　硬件系统扩容

　　方案采用2台HP StorageWork Core Switch 2/64光纤交换机和2台EMC Connectrix DS16交换机集联，搭建了冗余的SAN链路，并得到了超过100个SAN接入端口，从而满足SAN设备逐渐增多的要求，也为进一步提高性能打下基础。

　　SUN E10K上的2个Domain都在现有配置基础上扩充到20颗CPU和20GB内存，此外再扩充一个Domain，配置为4 CPU，4GB内存。总共需要增加24颗CPU和24GB内存。

 

　　磁盘存储系统采用HP StorageWorks Disk Array xp1024系统和EMC Symmetrix磁盘系统。磁盘存储系统配置了专业的存储管理软件，以全面实现新华社要求的各项管理功能。

　　方案设计利用现有的VERITAS File System和VERITAS Cluster Server作为SAN环境中共享文件管理的基础，在其上增加VERITAS Cluster File System和VERITAS Cluster Volume Manager等集成管理软件系统，使多媒体数据库系统称为SAN下的共享文件系统，从而真正实现业务系统的分离和数据共享，以实现提高系统性能的目的，从而使数据库系统真正运行在群集环境下。

　　SERVER-FREE备份和磁带异地容灾的实现 企安社区http://blog.uubc.cn

　　备份系统扩容的主要的工作是将新增的报刊服务器系统纳入到原有多媒介体数据库系统的备份系统中，实现对这报刊应用服务器的LAN-Free备份。本次方案通过增加NetBackup的功能模块的方式，进一步完善备份方案，实现SERVER-FREE的备份。方案依照原有的VERITAS NetBackup备份软件的架构进行设计，并参照目前多媒体数据库系统的备份策略，设计了报刊数据库系统的备份策略。备份的扩容带来了对存储容量需求上的增加，磁带库系统也进行了扩容。

　　另外，利用NetBackup Vault模块，实现备份磁带的复制和异地保存。

　　应用实施效果

　　同有飞骥公司依照新华社的要求，作为高端存储产品的综合集成商，满足了新华社对系统扩容的需求；同时，本着对用户负责的态度，依赖长期积累的大型存储和数据库系统性能优化方面的经验，在系统的实际性能优化方面，进行了详细的分析和论述，从而在最大程度上提升了新华社数据中心的系统性能，使系统最终具有了对所有业务系统数据进行集中存储和数据交换的能力。