数据转换-清除重复数据
Data frame的 duplicated方 法返回一个布尔型 Series, 表示各行是否是重复行:
还有一个与此相关的drop duplicates方法,它用于返回一个移除了重复行的DataFrame
这两个方法默认会判断 全部列,你也可以指定部分列进行重复项判断。 假设你还有一列值,且只希望根据k1列过滤重复 项:
duplicated和 drop_duplicates 默认保留的是第一个出现的值组合。传入keep。
利用函数和映射进行转换，也可以直接传入一个能直接完成此功能的函数。