CRM和存储等应用的增长正在成为亚太地区商业智能（BI）解决方案增长的动力。商业智能解决方案在亚洲企业市场上非常畅销。
而ETL工具是商业智能得以实施的一个基础性的工具，它与元数据管理相结合，提供对不同数据源的数据进行抽取，转换，清洗，加载的功能，集成和净化来自于多个不同系统的数据，然后将之载入物理数据库中。
DW ETL – DATA WAREHOUSE EXTRACT/TRANSFORM/LOAD SYSTEM （数据仓库多维萃取/转换/载入系统），正是这样一套国产的、专业的ETL系统。它完成多种操作系统之上、多种数据库、多种结构化文件之间的大量数据的交换工作。比如： 将AIX系统上的DB2数据库的某个系统的数据交换到Solaris 系统上的ORACLE 数据库中，等等。
DW ETL的客户群主要集中在重点行业，如：银行、电力、铁路、民航、证券、保险、制造、海关、税务；但是在一些非常依赖IT系统进行运作的行业，它同样重要，如：零售业、物流业、ERP、ISP、ICP等。
系统架构
DW ETL产品分为两大部分：基础部分和扩展部分。 基础部分是让DW ETL运作正常所必须的部分， 扩展部分是根据客户的需要而选择的部分，不同的客户选择不同的扩展构件来满足个性化的需求。系统结构如上图所示。
基础部分如下表所示：
DW ETL－ 数据多维ETL系统－基础部分
组件名称
组件描述
运行平台
前端/后端
核心交换系统
是后端的交换平台，为个各个功能性交换组件提供了即插即用的接口。
AIX/HP-UX/Solaris/Linux
后端
交换作业调度中心后端
调度和控制所有交换作业的运行
AIX/HP-UX/Solaris/Linux
后端
图形化可编程交换设计系统
通过使用所见即所得的编辑界面来完成数据交换的流程
Windows
前端
扩展部分如下表所示：
DW ETL－ 数据多维ETL系统－扩展部分
组件名称
组件描述
运行平台
前端/后端
作业调度图形化设计前端
通过图行化的界面来安排作业之间的关系
Windows
前端
交换作业监控中心后端
采集数据，监控系统运行情况
AIX/HP-UX/Solaris/Linux
后端
交换作业图形化监控前端
图形化显示交换作业运行的明细情况和汇总情况
Windows
前端
DW_ETL的工作环境及软件结构
DW_ETL软件包采取客户机/服务器的运行方式，客户端的软件提供图形化的工作界面，帮助数据采集调度的设计、运行和监控，并且管理数据采集环境中的元数据;服务器端的软件则负责运行设计好的数据采集调度并进行中间数据的保管。
l 客户端的软件包括
Ø DW ETL设计客户端
用于设计数据采集的作业，并且将其编译成可执行的目标程序，由调度客户端进行调度，提交给ETL SERVER去运行。
Ø DW ETL调度客户端
用于设计作业程序的执行时间，并且能够进行作业的优先级排序，对抽取、转换、装载等相关关键步骤进行数据处理过程中的实时监控。。
l 服务器端的软件主要包括
Ø 用户管理服务
Ø 项目管理服务
Ø 作业/批作业管理服务
Ø 元数据管理服务
Ø 日志监控服务
l 份设备
技术指标
l 前端系统需求（PC机）
Ø 处理器 Intel Pentium
Ø 内存 64MB(建议128MB)
Ø 磁盘空间 60 M
Ø Windows xp, Windows NT Client, Windows NT Server内存 128 M
l 后端系统需求（PC SERVER以上）
Ø 内存 56MB(建议512M以上)
Ø 磁盘空间 60M（数据空间另外计算）
Ø AIX、HP-UX、LINUX、SOLARIS
产品特性
l 即插即用交换模块
数据交换的流程通过各个功能模块的组合来实现，极大的提升了系统的灵活性，数据在处理过程中可以被灵活定义为临时数据、过程数据以及最终数据等多种形态。
l 支持所有主流平台
支持OS390/AS400/AIX/HPUX/LINUX/WINDOWS等操作系统下的DB2/ORACLE/SYBASE/SQL SERVER//INFORMIX/SAP/MYSQL等数据源。
l 支持实时抽取
全球唯一一家支持数据源实时抽取的ETL产品，能够支持数据库秒级变化的即时抽取，完善的事务级抽取和数据检查功能。
l 图形化交换设计
图行化的交换流程设计界面，最大限度的减少配置和维护的工作量，无论从元数据的配置管理到数据抽取作业的定义，完全实现可视化的设计工作。
l 图行化调度
分页的图形化调度窗口，让大批量数据的处理变得直观而又直接，让作业调度、顺序执行、并行执行等控制变得更加轻松。
l 应用级并行处理
从数据应用层次来灵活设置并行和串行，充分的利用系统的资源为应用数据交换服务，保证数据在抽取过程中的合理利用，提升抽取效率。
l 无“落地”数据处理
数据交换在内存中进行，极大提高数据交换处理速度，同时极大降低了对存储资源的要求，同时内存数据的运算又保证了整体数据ETL的效率。
l 开放的数据接口
标准的XML文件作为信息控制和交换的接口，具有良好的移植性和互操作性。
l 支持多种分析工具
支持多种第三方工具，如Excel、Cognos、Business Object、Brio、Crystal Report等。
l 简单的脚本语言
DW ETL有独立的脚本语言系统，能够让不熟悉编程语言的客户，在数据抽取和转换中可通过使用脚本语言定义对元数据的相关逻辑操作，以及相关运算、筛选等逻辑关系，满足在BI应用中业务数据库到分析数据库的各种ETL工作。
l 批量装载技术
DW ETL允许客户按照自身系统的特点，定义数据装载条件和装载时段，保证客户数据的正确高效装载，同时嵌入的批量装载检查技术也会保证批量数据的正确性。
l 高效的元数据管理
系统提供方便的元数据设计和维护功能，同时对不同作业的同一元数据按照内建索引进行管理，有效的提高元数据的使用率，同时又能够保证元数据的单一准确性，同时系统会进行相关元数据SQL的检查，保证为设计人员提供清晰方便的语法分析。
l 高度自动化的执行
从源数据的提取到最终报表的形成全部由自动引擎完成，基本上不需要人工干预。这样增强了数据的可靠性，提高了统计信息的实效性。 商业智能解决方案由数据采集、数据仓库等软件工具组成，它能够使企业更加方便地获得企业范围内的各种信息。
阅读(322) | 评论(0) | 转发(0) |
