"行数据重复检测"和"去除重复记录"组件在用法上有什么不同？

[懒羊羊]

我在ETL流里，想用"行数据重复检测"组件来找出重复记录，它和"去除重复记录"组件用起来有什么不一样？

[半糖去冰]

主要区别在于输出方式和适用场景。“行数据重复检测"会分别输出"匹配的结果”（没有重复的唯一行）和"不匹配的结果"（有重复的行），您可以同时看到这两类数据；而"去除重复记录"组件只输出处理后的唯一数据行，并可以选择将重复的行重定向到错误流。此外，"去除重复记录"组件要求输入数据必须先排序，否则只能正确识别连续两行的重复。