助睿ETL有哪些增量抽取方案（只同步当天新增/修改）？

[emo了]

我每天只需要同步当天新增或修改的数据，不想全量同步，助睿ETL有什么增量抽取的方案？

[黎明曙光]

可以使用基于时间戳的CDC（变更数据捕获）方案。

在"表输入"组件中，先用一个SQL查询获取目标表最后一次更新时间（如SELECT COALESCE(MAX(last_update), ‘1970-01-01 00:00:00’) FROM dim_table），然后将这个结果作为参数传递给另一个"表输入"组件，用WHERE last_update > ?条件抽取增量数据。

通过"从步骤插入数据"选项，前一个步骤的结果可以作为参数替换SQL中的问号，从而实现增量抽取。