dataframe去重复行

可以使用`drop_duplicates()`方法来去除DataFrame中的重复行。该方法默认会保留第一个出现的重复行，而将后面出现的重复行删除。例如：

import pandas as pd

df = pd.DataFrame({'col1': [1, 2, 2, 3], 'col2': ['a', 'b', 'b', 'c']})
print(df)

# Output:
#    col1 col2
# 0     1    a
# 1     2    b
# 2     2    b
# 3     3    c

df = df.drop_duplicates()
print(df)

# Output:
#    col1 col2
# 0     1    a
# 1     2    b
# 3     3    c

在上述例子中，`drop_duplicates()`方法将DataFrame中的重复行去除，得到了一个新的DataFrame。在处理重复数据时，还可以使用参数来指定保留哪个重复行，或删除所有重复行等操作。具体可以参考官方文档：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.drop_duplicates.html