同一字段中存在中文、拼音、中英文混合的数据，在清洗流程中应放在哪个阶段处理？

[方方不减肥了]

我现在做数据清洗，遇到一个问题：同一批数据里，有的“姓名”是中文，有的是拼音，还有的是中英文混合，这种在数据清洗流程里，应该放在哪个阶段处理比较合理？

[卤蛋先森]

建议把去重放在格式内容清洗之后，因为多个空格会导致工具认为“吴亦凡”和“吴 亦凡”不是一个人，去重失败。所以建议先处理格式统一问题，再进行去重。