2008年(8065)
分类: 服务器与存储
2008-12-03 16:35:44
如今大家谈论较多的‘平安城市’、‘全球眼’、‘宽世界’等项目成为市场主要话题,然而安防市场应用最早、最成熟的机场、金融等行业监控存储仍需要我们重视。在机场、金库、军火库等项目中,其应用特点决定了存储设备的选型,这些特点如下:
1、 前端监控总数量不多,但监控范围相对集中。这类应用中,摄像头数量一般在几百到上千左右,监控范围主要是所属辖区范围,相对比较集中。
2、 存储时间长,存储容量大。重要场所的监控图像,很多都要求保存几个月甚至一年以上,这就要求存储的容量非常大,一般会在几百TB或者上千TB。
3、 设备稳定,安全性高。存储设备要求长时间有IO请求,要求设备能够长时间稳定运行,由于这类的应用对数据要求的安全性比较高,所以存储设备都会要求全冗余设计,且有多种安全保护措施。
4、 系统先进,扩展性好。在设计存储系统的时候,一定要保证系统在几年后仍满足应用需求,不会很快被淘汰;因为前端数量每年都会递增,所以存储设备要有很好的扩展性,能方便存储新增设备的图像信息。
5、 性价比高。从原有的以DVR为核心过渡到以专业存储设备为核心的,客户需要逐步适应,所以在性价比方面,不能与原有方式相差太多。
1. 存储系统网络架构
设计视频监控系统的存储时,首先要阐明两个概念,一是网络架构,二是存储类型。网络架构主要是指存储设备与服务器或工作站之间的连接方式,数据读写方式和共享方式。主流的存储系统网络架构有DAS、NAS、SAN三种网络架构,其中SAN网络环境中,因采用存储设备类型的不同又可以分为FC SAN(采用光纤通道存储产品)和IP SAN(采用iSCSI存储设备)。存储类型是指按存储设备的接口类型、传输协议及网络设备的不同,存储设备可分为SCSI磁盘阵列、FC磁盘阵列和iSCSI磁盘阵列。
*DAS
DAS(Direct Attached Storage,直接存储)是指将存储设备通过SCSI接口、iSCSI接口或光纤通道直接连接到一台计算机上。这种网络架构中,存储设备一般直接连接在服务器的后面,存储。由于存储设备的主机端口数量有仅,因此DAS架构一般用于服务器数量较少的系统中,当服务器数量少于2台时,可采用SCSI磁盘阵列,当服务器数量少于4台时,可采用iSCSI磁盘阵列,当服务器数量少于8台时,可采用FC光纤通道磁盘阵列。
*NAS
NAS(Network Attached Storage,网络附加存储)是将存储设备通过标准的网络拓扑结构(例如以太网),连接到一群计算机上。许多人都将NAS、SCSI和FC光纤通道存储看成是存储设备的一种类型,实际上NAS更多的是指一个网络架构,是指存储设备通过网络共享方式来为网络中的服务器或工作站提供数据存储访问,NAS的方便性正是体现在这种共享的网络架构上。
所谓的“NAS存储”一般都是由一个由“NAS服务器+存储”构成的共同体,共同为系统上业务应用端服务器提供数据读写访问服务,小型“NAS存储”中,存储设备一般和NAS服务器被集成在一个机箱内,可称为一体化NAS。大中型“NAS存储”中,存储设备与NAS服务器一般是分离的,存储设备即可以是一个SCSI磁盘阵列,也可以是一个光纤通道磁盘阵列,还也可以是一个iSCSI磁盘阵列。
NAS架构环境下,存储一般都是通过NAS服务器为网络环境中的应用系统中提供服务,系统中的服务器和工作站没有数量限制,可很方便地应用于小规模系统或大规模的视频监控系统。
因此只要带宽和IOPS性能满足,NAS架构可用于各种服务器数量的视频监控系统中。然而由于NAS存储的带宽一般相对相低,
*SAN
SAN(Storage Area Storage,存储区域网),在最纯粹的意义上,是一个单独的计算机网络,特点是基于光纤通道技术(Fibre Channel)或iSCSI技术的电缆,交换机和集线器,将很多的存储设备连接起来,再与很多不同的服务器组成的网络连接起来,以多点对多点的方式进行管理。一般地,因SAN网络中采用的存储设备类型的不同又可以分为FC SAN(采用光纤通道存储产品)和IP SAN(采用iSCSI存储设备)。SAN使存储设备真正可以与服务器脱离开,形成一个总的数据中心,以多点对多点的方式在网络上与其它计算机相连。SAN的连接方式比传统的做法提高了可连接性,并有更好的容错性。SAN还可以通过采用跟先进的集群技术将可用性和运行连续性提高到一个更高的全新层次。在视频监控系统环境下,DAS、NAS和SAN网络架构比较分析:
以下我们可以用一个简单的表来表示NAS和SAN在技术上的关键区别:
2. 存储设备类型
常用于视频监控系统的可应用的主流磁盘阵列包括以SCSI、FC和iSCSI为主机接口的SATA磁盘阵列。
*SCSI-SATA盘阵
目前市场上主流的SCSI-SATA盘阵基本上都采用热插拔模块化设计,单控制器,每个控制器提供2个Ultra320 SCSI接口作为主机通道,实际带宽在150-250MB之间,可提供8-24个盘位等不同规格,不可扩展。SCSI-SATA盘阵技术成熟,价格低廉,单机容量可达6TB,一台PC服务器一般可接两台,总容量12T,是目前监控行业应用最多的磁盘阵列。缺点是只能用于直连存储(DAS),且单体容量有限。
*FC-SATA盘阵
全光纤盘阵或FC-FC盘阵由于FC磁盘价格相对较高,容量较小,一般很少用于视频监控的存储系统中。
FC-SATA盘阵,主要分为低端不可扩展的FC-SATA阵列和中高端可级联扩展的FC-SATA盘阵。FC-SATA盘阵具有最全面的硬件冗余、模块化设计、涡轮散热系统、LES监控模块、GUI的管理系统等,有些中高端的FC-SATA盘阵还具有强大的数据复制管理功能。
低端FC-SATA盘阵,多采用单控制器单柜设计,每个控制器提供2个2Gb FC主机通道,实际带宽在200-300MB之间,可提供12-16个盘位等不同规格,不可扩展。在视频监控应用领域,因为容量有限,并不适合大容量SAN集中存储,而作为直连服务器(DAS)应用,与SCSI-SATA盘阵相比,服务器端还需安装的FC HBA(市场价6000元左右)卡,性价比没有优势。
中端可扩展FC-SATA盘阵,基本上采用双冗余控制器的主控磁盘柜级联扩展磁盘柜的设计方式,系统提供4个2Gb FC主机通道,实际带宽在300-350MB之间,最大支持124块磁盘。高端可扩展FC-SATA盘阵,全部采用独立双冗余控制器直连或级联扩展磁盘柜的设计方式,系统提供8个2Gb FC主机通道,实际带宽在600-800MB之间,多数系统最大支持200多块磁盘,有的甚至能支持到800个磁盘。高端的FC-SATA盘阵一般都提供强大的数据复制管理功能(参见UIT公司的BM系列FC存储产品)。
中高端FC-SATA盘阵,由于其强大的扩展能力,单体容量可达到几十甚至几百个TB,不仅能满足服务器直连(DAS)的大容量存储应用需求,同时也是中大规模FC-SAN集中存储的首选,另外它也被广泛用于大容量NAS的存储扩展。在视频监控行业中,当集中存储容量达到20TB以上,FC-SATA盘阵的性价比优势将会显现出来,由于其技术成熟,产品可靠性高,性价比高等优势,已经在一些公安、机场、电信、银行等行业大规模视频监控项目上得到广泛应用。
*iSCSI-SATA盘阵
iSCSI-SATA盘阵类似SCSI-SATA盘阵,只是主机通道采用的是千兆以太网接口。市场上iSCSI-SATA盘阵同样也包括低端和高端两类设备,低端iSCSI-SATA盘阵不可扩展,提供2-4个1Gb iSCSI主机通道(可实现链路聚合),实际带宽80MB-150MB,目前有12-16个不同盘位的阵列规格。极少数采用高可靠的Cable-less模块化设计;多数采用的有线缆连接的工控服务器设计,单点故障多,可靠性低。
高端的iSCSI-SATA盘阵基本上都是采用双冗余控制器,热插拔模块化设计,并且可扩展存储容量甚至系统带宽性能。目前市场上主流的高端的iSCSI-SATA盘阵主要有:UIT公司的BS3000,Intransa公司的IP5000和华为3COM公司的IX5000,以及NetAPP公司的NAS/iSCSI二合一产品,这些iSCSI阵列在产品性能,可用性,易用性、可扩展性以及数据管理和数据复制功能等方面都各有特点。高端的iSCSI-SATA盘阵性因为销量较小,目前价格还居高不下,明显高于中端FC-SATA盘阵,容量越大,越是明显。但数据管理功能上要比FC-SATA盘阵丰富的多。
在直连服务器(DAS)的应用模式中,iSCSI-SATA盘阵与SCSI-SATA或FC-SATA盘阵相比,不具备明显的性价比优势。它的优势主要体现在多服务器共享存储的存储局域网(SAN)的应用,使用千兆以太网卡将多台服务器连接到iSCSI存储设备上的IP SAN存储网络的大好机会使得iSCSI变得简单和经济. 今天的高速CPU可以在标准网卡以线速运行iSCSI, 并只占用有很少的CPU占用。 板载千兆以太网卡已成为服务器标准件, 因而成本已包含在内, 管理员已不需要再安装复杂的iSCSI HBA卡。将标准的网卡和低成本的以太网交换机结合在一起提供了一个引人注目的比FC显著节约成本的解决方案。 虽然FC还保持着性能方面的优势。然而, 节约不仅仅体现在硬件设备方面, 采用iSCSI, IT部门可以继续采用现有的IP网络专家, 而无需经过专业培训的人员。这种熟悉的网络架构消除了一个FC SAN复杂性的一个关键问题-维护和管理。
3. 系统容量、带宽分析
进行视频监控的存储系统设计时,首先要对系统中摄像头数量、采集视频的格式和码率、视频服务器的数量等参数进行统计和分析,计算出系统中存储的总带宽压力和存储容量要求,设计存储系统的网络架构,然后再根据可选用的存储设备型号及价格成本,最终选定存储设备的型号。
存储系统带宽分析
按照标准每路视频都必须采用 D1 格式和定码流方式。D1格式流量:2Mb/s。实际占用带宽为:
1路*2Mb/s/8 =0.25MB/s
100路*2Mb/s/8 =25MB/s
400路*2Mb/s/8 =100MB/s
1000路*2Mb/s/8 =250MB/s
由于每台PC服务器通过千兆以太接口所能提供的带宽一般在40-60Mb/s左右,因此单服务器的DAS和NAS网络架构适用于数量在200路以下的视频监控系统,双服务器的DAS和NAS网络架构适用于数量在400路以下的视频监控系统。当摄像头数量超过400或总带宽压力越过100MB/s时,建议采用IP-SAN或FC-SAN网络架构。
存储系统容量分析
按照标准每路视频都必须采用 D1 格式和定码流方式。D1格式流量:2Mb/s。单路视频每天存储容量为:
1路*(2Mb/s*3600s)/8bit*24小时 =21GB
单路视频每月存储容量为:
1路*(2Mb/s*3600s)/8bit*24小时*30天=648GB
100路视频每月存储容量为:
100路*(2Mb/s*3600s)/8bit*24小时*30天=64800GB=62TB
400路视频每月存储容量为:
400路*(2Mb/s*3600s)/8bit*24小时*30天=253125GB=247TB
1000路视频每月存储容量为:
1000路*(2Mb/s*3600s)/8bit*24小时*30天=648000GB=620TB
SCSI接口的盘阵、一体化“NAS存储”和iSCSI存储一般具有8-24盘位,且容量不可扩展,可用容量一般在10TB以下。光纤存储或“分体式NAS”一般具有较大容量扩展,可用容量一般可达100TB,甚至400TB以上,因此存储容量需求在10TB以下时,建议SCSI-SATA盘、一体化“NAS存储”和中小型ISCSI存储,当时在10TB以上时,建议采用具有可扩展功能的ISCSI存储、光纤存储或“分体式NAS”。
4. 大容量存储系统解决方案
根据这些应用的特点,UIT推出相应的集中存储解决方案,针对现阶段以及未来的发展形势,UIT推出了适合此类应用的大型集中存储设备,UIT BM3800B就是专为此类应用特点而推出的存储产品。
UIT监控集中存储设计结构图如下:
由于监控范围比较小,相对集中,所以在监控的各个区域把前端信号进行汇聚,然后传输到核心网络,进入存储设备,同时进行大屏监控,在客户端也可以远程调用监控图像。这类方案的存储系统设计中,在满足应用的前提下,充分考虑了系统的安全性以及未来的可用性。UIT BM3800B存储系统在大型集中存储方面具有如下特点:
*可靠性高
BM3800B控制器有集群功能,二、三或者四个控制器之间都是active的,一个发生故障,其他可以进行接管。所有部件模块化设计,风扇、电源等都采用冗余设计;从视频服务器到交换机、从交换机到控制器、从控制器到磁盘柜,所有链路都采用冗余连接,链路之间能够自动负载均衡和链路冗余,保证系统无单点故障。在监控点较少的时候可以选择单/双控制器,在以后增加摄像头的时候可根据用户的实际情况增加控制器;
BM3800B多种RAID保护方式,配合多达四种热备磁盘方式,可保证系统在出现磁盘损坏的情况下保障业务系统不受影响;
Cache锂电池保护功能,当整个系统突然断电的时候,可以保证写入Cache里面的数据不丢失,当系统恢复供电的时候,继续写入磁盘,锂电池最大可保证数据72小时不丢失;
*高性能
视频监控行业对带宽要求比较高,要求持续稳定的带宽,监控数据一般写入时间比较长,且要求码流恒定,否则会出现画面丢祯等现象, BM3800B就是专门根据其特点设计的产品,它单控制器下可达到330MB的持续带宽,双控制器670MB,三控制器930MB,四控制器1200MB的实测带宽。1000路图像以2Mb的码流计算,带宽要求是1000*2Mb/8=250MB,一般单控制器就能满足需求,但是为了安全性,建议至少配置霜控制器集群;
*扩展性好
这款产品可以在性能和容量上双重扩展,每年视频监控对画质的要求不断的提高,相应的对性能和容量上的要求是成倍的增加。这款产品以后可以增加磁盘柜来扩充容量,单系统最大可以扩展到840TB容量。性能方面可以增加控制器数量进行提高,最大可以扩展4个控制器。客户在二期扩容的时候可以很轻松的对性能以及容量进行扩充。
*灵活的配置
单个控制器有8个光纤接口,这8个口可以手动分配成主机接口或者磁盘接口,灵活调整,在客户视频服务器数量不多的时候可以与控制器进行直连,去掉光纤交换机成本,可以使客户节省其他设备的投资。
*绿色存储
在进行存储系统设计的时候,很多时候忽略了系统的功耗以及使用寿命,BM3800B在设计的过程中考虑到大型集中存储的时候磁盘并不是一直并行访问,所以在系统中加入了MAID(Massive Arrays of Idle Disks)技术,其主要特点如下:
存储系统中的磁盘各自或各组如果没有读写访问时可依据策略下电
磁盘下电的比率超过25%以上
磁盘可根据数据访问策略自动上电
降低能耗,减少环境和管理成本,
更长的磁盘使用寿命
BM3800B-MAID功能
RAID组可以在没有读写访问时,组中磁盘可依据策略下电
磁盘自动下电的无读写访问最短时间为4分钟
该RAID组磁盘在下电以后,一旦有读写请求,磁盘自动上电,RAID组可重新提供正常访问
下电磁盘自动依策略进行故障检查
*高性价比
UIT BM3800B最适合大容量的存储项目,在设计的过程中,针对流媒体应用进行了优化设计,没有加入高端存储的高端软件功能;且由于每个控制器支持的磁盘数量高达840块,所以随着容量的增大,单位容量的成本下降。
*强大的监控管理
BM3800B可通过液晶面板、串口、远程IE界面对存储进行监控管理;不仅可以监控系统本身各种模块的工作状态,还可以监控到连接到主机的链路状态以及外接UPS等设备的工作情况,当系统出现故障时可通过Email、报警声、远程界面、指示灯等多种方式报警;
UIT BM3800B在大型监控集中存储项目里有很多成功案例,多次在机场、银行以及公安监控项目里应用,凭借其良好的性价比以及便捷的管理、扩展,得到了客户的好评