电影频道的节目存储管理系统

数据迁移的实现

　　数字化上载后的节目视/音频数据，首先存储在在线存储系统的硬盘中，以供审核、剪辑和编目使用。在线系统中的节目可以根据存储水位线、节目文件的保存时间及节目对象的创建时间等条件触发，并通过存储管理软件的控制，从在线系统中迁移到大容量的近线系统中长期保存。根据需要，有些数据流磁带还将从近线库中迁移到离线系统中保存。

　　如果有节目回调请求发生，系统首先检查被请求回调的节目是否位于在线存储体中。如果是，则直接提供给调用者使用；如果该节目位于近线存储体中，存储管理软件则自动控制磁带库，将节目读出到在线存储体中供调用；如果该节目位于离线存储系统内，系统就提示网络管理人员手工将该节目的数据流磁带插入磁带库，再自动将节目迁移到在线存储体中供使用。这些数据的迁移或回调都是由数据交换服务器来完成的。

　　存储容量的确定

　　需求是存储容量选择的依据。电影频道的主要节目是外购和自产的各类电影节目，因此视/音频信息是媒体数据存储的主要内容。影视媒体的特点就是数据量大，根据CCIR-601标准，标清节目图像的数据率为216Mb/s，即使是上载采集时经过压缩的信号，其单位时间的数据量也是非常庞大的，这就决定了必须选择大容量的存储体。

　　为了既保证播出和再利用节目的信号质量，又能尽量提高压缩比以降低存储和传输成本，上载采集时选择了MPEG-2 I帧25Mb/s高码率和MPEG-4 800kb/s低码率双路采集。高码率节目用于制作、播出和再利用，而低码率节目用于审片、编目和查询检索等。音频信号按两通道24b/48kHz无压缩Wav方式采集。

　　经过计算，当前库存、播出及每年新增节目总的存储量为307TB，这是选择存储体及存储容量的重要依据。

　　存储体的选择

　　(1)在线存储体。尽管FC磁盘阵列价格较高，但它读写速度快、存储容量大、性能稳定可靠，用于在线存储非其莫属。为此，系统中配置了两个FC磁盘阵列，一个用于存储原始素材节目，有效容量为18TB(4个2Gb/s主机通道)，可以存储800部(每部1.5h)标清(码率25Mb/s)标清电影、800部MPEG-4码流数据电影和800部电影音频素材；另一个用于存储待播的TS码流文件，有效容量为4.6TB(4个1Gb/s主机通道)，可以存放5个频道17天(每天20h、码率6Mb/s)的标清播出节目。

　　(2)近线存储。选择数据流磁带库，库中单盘磁带容量为200GB，初期配置总容量为150TB，可以存储8850部(每部1.5h)标清电影。超出数据流磁带库存储容量的节目迁移到离线存储。

　　(3)离线存储体。采用可以任意扩充的离线排架和数据流磁带，只要需要就能提供无限的存储容量。凡是暂时不用或不经常使用的电影节目，都存放在离线排架上保存。

　　(4)元数据和网络管理信息的存储。系统的元数据和网络管理信息由数据库服务器负责存储。本系统配置了4台数据库服务器，每两台一组以集群方式工作，其中一组存储电影节目素材的元数据信息，而另一组存储待播节目TS流文件的元数据。

　　(5)为了实现SAN上的文件共享服务，系统配置了4台MDC服务器，其中2台存储原始素材阵列，另外2台存储TS流文件阵列，每组都以集群方式工作，一旦有一台发生故障，另一台将立即接管其工作。

　　(6)为了实现磁带库系统的控制和管理，系统配置了2台存储管理服务器，均以集群方式工作，负责对磁带库机械手的控制和带库磁带的管理与调度，并执行系统管理员设定的迁移或回调请求。

　　(7)为了实现FC磁盘阵列与数据流磁带库之间迁移和回调数据的交换，系统配置了2台数据交换服务器，共享4台数据流磁带机，其中任何一台服务器发生故障时，另一台将自动接管其控制磁带机工作。

　　网络存储结构

　　(1)FC+以太网双网结构。采用双网结构可与非编网实现互连。其中FC承担高码率视/音频数据的传输，而以太网主要负责管理数据和低码率MPEG-4数据的传输。对带宽要求较高的通道，还配置了千兆网接口。

(2)网络带宽的确定。带宽如果不够，会造成整个网络系统工作效率大幅下降，特别在选择FC硬盘塔时，更要充分考虑其有效带宽，以保证整个系统稳定运行。

　　各种工作站由于其配置和功能不同，对在线存储系统进行读写操作时占用的网络带宽也各不相同。其中上载工作站按MPEG-2 50Mb/s码流计算，每台占用的带宽约为6.25Mb/s；下载工作站调用完成的故事版文件，每台占用的带宽约为12.5Mb/s；无卡工作站调用MPEG-4格式素材，占用带宽仅为0.2Mb/s；一台数据流磁带机占用的带宽约为30Mb/s。

　　全系统按20台有卡工作站、14台无卡工作站、4台数据流磁带机计算，在工作高峰期网络的读写带宽将达到373Mb/s。为此，系统中选用了2Gb/s带宽双控制器FC硬盘阵列(4口)，实际可以提供720Mb/s的读写带宽，完全可以满足系统要求。

　　(3)统一的SAN结构。SAN可将磁带库直接挂接在统一的SAN结构上，通过智能化SAN设备与存储管理软件通讯，使节目数据直接通过高速SAN网络在FC硬盘塔和带库之间流动，这样可以不占用任何主机资源，还能满足高性能及扩展的要求。

　　由于上载与存储之间相距1.75km，所以使用了5台2Gb/s光纤通道FC交换机构建SAN网络，两地间采用4条长波级联光纤连接，提供800Mb/s的级联链路带宽，以保证任何一条级联线路有故障时均不会影响两地间的数据传输。

　　节目编目与检索

　　编目是系统进行元数据加工管理的核心环节。对电影节目的编目标引过程，就是节目元数据的获取过程。只有经过科学、严格的编目，被存储的电影节目才能被用户方便地进行浏览、查询、检索和调用，从而提高整体运行效率，实现节目资源共享。

　　本系统中，编目是采用分层结构和自动与手动两种方式，按照电影资料的特点加以标引、添加描述数据。一方面保留了电影已有的编目规则，另一方面又遵照广播影视编目注录规则。编目后得到的是完整的节目素材，包括高/低码率视频素材、音频素材、基本元数据、EDL、编目数据等多种资料。

　　由于所有电影节目素材经过编目后都有了详细的标引和各种描述，所以查询很容易。可以采用关键词、关键帧、后控词等方式检索，也可以定制检索条件，系统支持全文、分类、关键字、图片及组合查询等多种方式。由于系统设计时对电影素材的检索是基于Web方式，所以系统中任何一个装有浏览器的工作站都可作为检索工作站使用。（全文完）