关于数据库优化工作的意见

一起学习

一、 背景
l 不同的应用混用同一套数据库系统，包括：中间业务，网上银行，个贷系统，银行卡系统，信用卡系统，基金理财系统，保管箱系统等。
l 应用层面存在数据库操作语句问题，导致系统性能降低
l 数据库日常运营管理工作流程缺失，缺乏定期、不定期的健康检查，缺乏定期、不定期的维护操作。所有的数据库操作都是在解决问题，或是增加数据库对象。
l 数据库系统缺乏自动化监控管理软件
l 数据库的结构缺乏针对管理、安全、拓展领域的关注


二、 影响
l 由于混用同一数据库，个别系统出现问题会导致整个数据库系统暂停服务
l 联机处理型应用与管理分析型应用混用同一数据库，甚至混用同一硬件设备导致系统性能无法最佳的发挥
l 新上线的应用系统由于测试不充分，存在问题的数据指令上线后对数据库造成极大的问题隐患
l 作为一家上市银行，信息系统的任何故障都会造成严重后果。


三、 目标


集中的数据库系统
l 集中不是物理设备的集中
l 是管理操作、技术标准和规范的集中
l 由独立运营维护，对应用提供服务标准和规范，供应用系统使用
l 集中的数据库系统建设下一步目标：建设数据仓库，实现两种以上的数据软件，集中地数据管理和使用，配合数据传输总线建设。


数据库系统建设目标
l 存储外置
l 规范数据库软件和硬件的标准
l 实现自动化的监控和管理
l 具备安全边界控制
l 具备横向拓展
l 配合数据传输总线的建设


存储外置
l 采用外部存储方式
l 借助存储技术建设存储网络（SAN）
l 借助存储技术建设和规范网络存储访问（NAS）
l 建立分级的存储空间管理，保证最有价值的数据存储在最好的空间内，提高性价比
l 加强存储设备的备份恢复机制
l 增加存储备份的容灾处理能力


规范数据库软件和硬件的标准
l 数据库软件：ORACLE ，SQL-SERVER
l 数据库服务器硬件：IBM RS6000 ， DELL PC-SERVER
l 操作系统：IBM AIX ， REDHAT AS4.0
l 集群处理：借助操作系统集群软件和ORACLE RAC软件 ， 硬件的负载均衡设备


实现自动化的监控和管理
l 引入数据库监控和管理软件
l 实现对数据库日常运行情况进行健康监控，定期出具检测报告，发现问题隐患，防范于未然
l 定期对数据库系统进行健康处理
l 监控告警


具备安全边界控制
l 根据业务级别进行隔离，利用现有资源实现最有价值业务连续性
l 对于新上线业务，测试不充分业务，运营出现问题的业务进行隔离，使其运行在单独的资源环境中


具备横向拓展
l 增加数据库服务器节点的方式实现资源的拓展
l 增加数据库运行实例的方式进行扩展


数据传输总线建设
l 报表系统建设，系统间批量信息同步，业务对账处理，管理分析系统从业务系统中导入数据等需要进行大批量的数据操作。
l 目前数据库设计和建设过程中往往过多的考虑如何满足应用系统本身的要求，很少顾及系统间的数据导入、导出处理。
l 目前数据库间的数据导入、导出操作更多的借助于数据库软件操作。这其中更多的关注数据操作的可行性、执行效率，缺乏对操作过程的管理，缺乏对于安全、风险方面的控制。


四、 实施策略
1. 2008年1月份开始，计划进行oracle数据库系统升级，具体操作形式为：
l 行内计划采购两台IBM 570服务器替代目前使用的IBM 55A服务器。
l 由此引发如何规划使用这两台570服务器，如何充分利用原有两台55A服务器的议题。该议题的核心是如何规划和设计集中的数据库系统。
l 鉴于此种情况，结合前面描述的行内数据库系统的状况，提出对数据库服务器升级的建设意见。具体可以参见“目标中的具体内容”。
2. 通过引入数据库测试和监控工具：
l 查找目前应用程序中导致数据故障的问题；
l 监控数据运行情况，通过参数设置实现问题告警；
l 收集数据库系统运行状况信息，便于事后分析；
3. 借助工具，参考以往经验，根据应用的实际情况建立一套数据库日常管理工作流程。以此为契机，实现由数据库为突破口，逐步实施数据库监控管理系统，并且将其的功能逐步扩大，形成几期项目。
4. 待时机成熟时，在引入（或是整合现有）数据处理工具，为后续建立数据仓库做铺垫。

下载本文示例代码


关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见关于数据库优化工作的意见