Chinaunix首页 | 论坛 | 博客
  • 博客访问: 39827
  • 博文数量: 17
  • 博客积分: 1400
  • 博客等级: 上尉
  • 技术积分: 182
  • 用 户 组: 普通用户
  • 注册时间: 2009-12-01 12:14
文章分类

全部博文(17)

文章存档

2010年(2)

2009年(15)

我的朋友

分类: 数据库开发技术

2009-12-07 12:33:18

   Teradata ETL Automation是管理触发和依赖关系的GUI;
   ETL七个服务(etlagent,etlclean,etlmaster,etlmsg,etlschedule,etlwdog,etlrcv)是管理触发和依赖关系的后台系统程序,有效的维持触发和依赖关系,保障作业按照约定的顺序调度运行。
   在Teradata中触发源有两种:1、时间触发;2、作业触发(作业触发又分两种:Stream 一对一的触发;组触发:多个作业触发一个作业)。时间触发是源头,一般是FTP作业都是由时间触发。
   ETL的七个服务中所有与时间判断相关的都是指TXDATE,这些服务在整个ETL过程中所起的作用为:
   etlrcv:不断的读取receive目录下的dir.*文件,判断作业的Frequency,DatafileSize,Calendar,以及判断文件是否重复,检查过后将文件移至Queue目录,并更改作业状态为Pending。时间触发的作业其控制文件不由etlrcv处理,不经过receive目录
   etlmaster:不断的读取queue目录下的*.dir文件以及ETL_JOB_QUEUE表(上下游作业不在同一服务器上运行时),文件名标志为系统名_作业名_TXDATE.dir,经过etlrcv的判断和选择后,该服务判断作业能否运行,满足作业运行条件的情况下移至Process目录,并更改作业状态为Running.作业能运行的条件是:1.其上游依赖的作业没有运行,2.其下游的作业没有运行,3.存在对应的bin目录
   etlslave:所有作业运行有这个脚本来调度,在对应的目录产生对应的文件,作业运行完毕后,更改组作业状态和产生新的触发关心,将新产生的dir.*控制文件送至receive目录
   etlschedule:调度作业,主要是调度有时间触发的FTP作业等
   etlmsg:邮件调度作业,读取*.msg发送给指定的运维人员
   etlclean:根据ETL_JOB表中设定的数据文件和日志文件的保存日期,清理ETL服务器的LOG文件夹下的过期的日志文件和DATA目录子目录下的过期数据文件
   etlwdog:主要是监听ETL_SERVER
阅读(3635) | 评论(0) | 转发(0) |
0

上一篇:OLELOAD 导入EXCEL

下一篇:Teradata view

给主人留下些什么吧!~~