如何找出并删除数据集中完全重复的行？

[菜菜鸡互啄]

我们公司有很多重复的客户数据，想找出并去掉完全一样的行，应该用平台的哪个功能或组件来实现去重？

[思绪有序排列]

直接用助睿ETL“去除重复记录”组件就行。你把数据源接给它，它会找出所有字段值完全一样的行（前提是输入的数据是已经排好序的），然后把重复的去掉。你还可以设置只看某个字段（比如身份证号）来判断重复。