ETL流程的定时任务应该配置在“作业”里还是“转换”里?

我做了一个ETL流程:表输入 → 过滤 → 聚合。现在想把这个流程跑成一个定时任务,每天凌晨2点执行一次。但我不知道建的这个“定时任务”是在“作业”里配,还是在“转换”里配。

1 个赞

定时调度应该在“作业”里配置,而不是在“转换”里。你需要:

  1. 新建一个作业。

  2. 把“Pipeline”组件拖到作业画布上。

  3. 把“START”节点连到这个“Pipeline”组件。

  4. 双击编辑“Pipeline”组件,选择刚刚创建好的转换。

  5. 右键点击作业的“START”节点或作业本身,选择“调度/定时”,配置cron表达式或其他循环规则,保存并启用该调度。

这样,平台就会每天按计划自动执行你的转换。