在助睿ETL平台做数据清洗，转换里拖了"去除重复记录"组件，数据源是CSV文件，里面有一行客户地址和上一行完全一样。但跑完转换后，这一行还是保留在输出里，没被去掉。
我的配置：
输入组件：CSV文件输入
处理组件：去除重复记录
输出组件：Excel输出
检查过：
数据确实完全相同，不是视觉雷同
组件配置里没有勾选任何字段限定
怀疑是不是因为没排序？ 看文档里说"去除重复记录组件只能识别完全相同的数据行，检查可以只限制在某几个字段"，而且"地址信息需要排序"。是不是要先排序才能去重？
20 个赞
应该就是这个原因。去除重复记录组件要求数据必须先排序，而且排序字段要包含你用来判断重复的关键字段。正确的做法是：CSV输入 → 排序记录（按地址字段排序） → 去除重复记录（勾选"设置"里你要检查的字段，比如地址号） → 输出。去重后，组件的address_sum字段会记录每个address_id出现的次数，可以用来分析重复率。