pandas drop_duplicates

pandas 的 drop_duplicates() 方法可以删除数据帧中的重复行。默认情况下，它将删除所有列中的重复项，但是可以通过指定 subset 参数来删除特定列中重复的项。
例如：
df.drop_duplicates(subset=["col1"]) 将删除 col1 列中重复的项。