Teradata ETL Automation是管理触发和依赖关系的GUI;
ETL七个服务(etlagent,etlclean,etlmaster,etlmsg,etlschedule,etlwdog,etlrcv)是管理触发和依赖关系的后台系统程序,有效的维持触发和依赖关系,保障作业按照约定的顺序调度运行。
在Teradata中触发源有两种:1、时间触发;2、作业触发(作业触发又分两种:Stream 一对一的触发;组触发:多个作业触发一个作业)。时间触发是源头,一般是FTP作业都是由时间触发。
ETL的七个服务中所有与时间判断相关的都是指TXDATE,这些服务在整个ETL过程中所起的作用为:
etlrcv:不断的读取receive目录下的dir.*文件,判断作业的Frequency,DatafileSize,Calendar,以及判断文件是否重复,检查过后将文件移至Queue目录,并更改作业状态为Pending。时间触发的作业其控制文件不由etlrcv处理,不经过receive目录
etlmaster:不断的读取queue目录下的*.dir文件以及ETL_JOB_QUEUE表(上下游作业不在同一服务器上运行时),文件名标志为系统名_作业名_TXDATE.dir,经过etlrcv的判断和选择后,该服务判断作业能否运行,满足作业运行条件的情况下移至Process目录,并更改作业状态为Running.作业能运行的条件是:1.其上游依赖的作业没有运行,2.其下游的作业没有运行,3.存在对应的bin目录
etlslave:所有作业运行有这个脚本来调度,在对应的目录产生对应的文件,作业运行完毕后,更改组作业状态和产生新的触发关心,将新产生的dir.*控制文件送至receive目录
etlschedule:调度作业,主要是调度有时间触发的FTP作业等
etlmsg:邮件调度作业,读取*.msg发送给指定的运维人员
etlclean:根据ETL_JOB表中设定的数据文件和日志文件的保存日期,清理ETL服务器的LOG文件夹下的过期的日志文件和DATA目录子目录下的过期数据文件
etlwdog:主要是监听ETL_SERVER
阅读(3635) | 评论(0) | 转发(0) |