分类： 服务器与存储
2008-07-14 15:23:31
一切都源于生命之水
“中国最缺水的地方在华北，而华北最缺水的地方在石家庄。”石家庄市节约用水办公室负责人近日再次表明了这样的感叹和担忧。由于地理位置所限，石家庄市与各种湖泊、河流等都不相临，石家庄供水总公司90%的供水依赖地下水。长期以来，由于采水量过大，石家庄地下已形成一个350多平方公里的巨大漏斗，市区西部及西南部地区地下水已部分疏干。该市水资源及用水形势的紧张局面由此可见。
与此同时，多年来，石家庄供水公司的用水户收费系统也一直是采用传统的集中收取制度。随着近年来流动人口的不断增多、用水量的逐年增加，供水公司亟需对石家庄市用水信息进一步掌控，提高工作效率，减少用水浪费，甚而制定相关政策控制用水浪费现象，因此将传统的集中收取模式转为直接对最终用水户收费的抄表到户模式显得势在必行。随之而来的是，供水总公司营业收费系统的规模将急剧扩大，现在的营业收费信息系统规模已经无法负载日后的用户数量。
满足60万用户的缴费需求
石家庄供水公司对新的信息系统的规模需求相当明确。“新的营业收费信息系统每个月要满足60万入账用户的缴费需求。按行业经验，平均每个窗口需要服务于1000个用户，业务高峰时50%的营业终端同时与数据库主机进行交易。因此，可以推算出营业窗口数目将达到600个，高峰时的并发窗口数为300个。假设每个交易的响应时间不大于3秒，则每分钟并行的交易总数目将达到6000个。”
从网络系统结构来看，新的收费系统相当于一个城域网，覆盖供水总公司的信息中心机房、营业所本部、5个营业分所和遍布全市范围的银行代收点。而且，由于收费系统的使用率多在白天的正常上班时间，白天的十个小时内并没有特定的高峰时期，但是每个月的月底、月初属于缴费的高峰时期，系统使用率比较高。
在综合考虑用户的需求后，曙光的方案工程师认为针对该网络系统，主要解决三方面的问题，即构建服务器机群，解决服务器处理能力不足和系统工作稳定性不强的问题；构建集中式的存储中心，解决存储效率不足的问题，同时，使得存储系统具有极好的扩展能力；构建完善的网络安全系统以及访问缓冲系统，保证整个系统平台能够安全、有效的运行。
给系统安一个聪明的“大脑”：曙光4000A
考虑到该系统的核心应用是数据库服务，对数据库系统造成较大数据吞吐压力的操作大多来源于统计与查询分析（尤其是实时查询分析）类操作。随着业务规模的扩展，系统需要较强的响应能力、业务处理能力、数据安全性保证以及较高的扩展性，综合目前的设备与技术现状，该项目将采用曙光4000A服务器机群作为主体框架设计。其数据库服务器节点均采用了基于AMD Opteron处理器平台的64位四路服务器天阔R4280A，同时配备了曙光DS3140F磁盘阵列产品，并结合Redhat Advanced Server 3.0操作系统和Redhat Cluster Suit模块，配置成为集群模式，配合oracle 9i rac提供数据库服务。
用户的数据是最为宝贵的，为了保证用户数据的安全，另外配置了1台曙光天阔R4280A的节点机作为数据库备份节点，连接一套磁带库，利用veritas备份管理软件，在非工作时间，将数据从光纤盘阵备份到磁带库中。这样既可以保证数据的安全可靠，还可以提供非实时的查询统计作用。
其系统逻辑拓扑图如下所示： 
由于目前需要备份的数据仅仅为数据库的内容，如果局域网内部还有较关键业务需要备份，后续增加两条光纤线即可通过备份服务器向磁带库内进行备份。
应用是根本：高I/O、高可靠、高可扩展
“曙光基于十大标准化技术的高性能、高性价比机群服务器在该项目中能有效满足月底、月初缴费高峰时期的海量访问需求。同时机群系统本身良好的扩展性和兼容性不仅使用户免除了后顾之忧，而且大大降低了用户的TCO成本，加上在管理监控、数据备份、网络安全和售后服务方面的整体细致考虑，最终赢得了用户的青睐。” 曙光公司河北平台经理彭云海表示。“结合用户需求，该方案具有高I/O吞吐性能、高可靠性、高可扩展性等特点。”
高I/O性能的数据库系统
面对每个月60万用水户的缴费需求，系统需要很高的响应能力，其tpmc值初步测算达到15000。因此，该方案主要从以下几个方面来保证高I/O吞吐性能的实现：
第一，基于AMD Opteron处理器与内存的直连方式和超传输总线的架构保证了CPU与内存之间、CPU与I/O设备之间的高带宽；
第二，用了4台节点机共同提供数据库服务，其I/O性能要比由1台或2台节点机组成的集群系统高。服务器节点通过2Gb/s的高速HBA卡与磁盘阵列相连；
第三，曙光DS3140F磁盘阵列具备双控制器，每个控制器上面有2个主机通道口，每个通道口速率高达2Gb/s，在双控制器采用冗余方式工作时，I/O吞吐速率可以达到4Gb/s；
第四，如果双控制器在非冗余方式下工作，4个主机通道可以达到8Gb/s 的高I/O吞吐速率；
第五，根据用户数据310GB的存储容量要求，可以配置3块146GB硬盘，但是出于I/O性能的考虑，我们选择了配置6块73GB硬盘，作RAID5，在提供高I/O性能的同时，可用容量满足用户要求。
高可靠性的数据库系统
数据库服务器系统是石家庄自来水公司的关键系统，系统的可靠性非常重要。本方案主要从以下几个方面加以保证：
第一，4个节点机、结合RedHat Cluster Suit和Oracle Rac共同提供数据库服务，在其中一部分节点发生故障时，系统仍然能继续提供服务，减少了用户应用的宕机时间。
第二，节点机上采用2块HBA卡，分别通过不同的光纤交换机连接到磁盘阵列的2个控制器（采用冗余配置方式）上，因此，整个系统采用的是全冗余的配置，可靠性非常高。
第三，光纤磁盘阵列中配置了6块光纤硬盘，保证数据的安全。
此外，在系统中，我们配置了1台专门的备份服务器和备份磁带库，可以在非工作时间对数据库系统的数据进行备份，不但可以对用户数据提供强有力的保护，备份服务器还可以用于处理非实时性的检索、查询和统计分析工作，进一步减轻了数据库服务系统的负担。
高可扩展性的系统
为了应对未来业务规模的扩展，系统需要具有很高的可扩展性，主要表现在：
第一，edHat Cluster Suit支持8个节点的集群，这个数据库系统可以进一步扩展到8个节点。
第二，每个曙光天阔R4280A服务器目前配置了4路846 CPU/节点，如采用AMD双核处理器，可以平滑升级到8路CPU/节点。
第三，曙光DS3140F磁盘阵列具有14个槽位；此外，DS3140F磁盘阵列还可以连接7个14槽位的扩展柜，可扩展余地非常大。
机群系统在国内市场上已经表现出了极强的成长性。作为高性能计算的一种主流、成熟、低成本的实现方式，由节点机、网络、存储、管理监控系统和相关软件、机群承载系统等模块构成的工业标准化机群服务器，在性价比、可扩展性、可管理性、易维护、标准化、可用性、软件兼容性等方面具有小型机和单台服务器所无法比拟的优势。此次机群服务器在小型机传统优势领域破冰成功，正是这些优势的直接体现。
