pandas对重复数据

Pandas库是一个强大的数据分析工具，在处理数据集时，它提供了方便的功能来检测和管理重复的数据。当你有大量数据，并希望找出其中完全相同的行（即存在重复的信息），可以使用`duplicated()`函数。

`df.duplicated()`会返回一个新的布尔系列，表示每一行是否是重复的。如果你想查看所有重复的行，可以加上参数`keep=False`；如果只想保留每个重复组的第一条记录，可以用`keep='first'`；如果你想删除重复的行，可以使用`drop_duplicates()`函数。

例如：

# 查找重复行
duplicates = df[df.duplicated()]

# 删除重复行
df_unique = df.drop_duplicates()