python pandas dataframe 去重

在Python中，Pandas是一个非常强大的数据处理库，而DataFrame是Pandas中最常用的数据结构之一。DataFrame可以理解为一个二维的表格，类似于Excel中的数据表。当我们需要对DataFrame进行去重操作时，可以使用Pandas提供的drop_duplicates()方法。

drop_duplicates()方法可以根据指定的列或者所有列对DataFrame进行去重。默认情况下，该方法会保留第一个出现的重复值，并删除后续出现的重复值。下面是一个示例代码：

import pandas as pd

# 创建一个包含重复数据的DataFrame
data = {'A': [1, 2, 3, 4, 4, 5],
        'B': ['a', 'b', 'c', 'd', 'd', 'e']}
df = pd.DataFrame(data)

# 打印原始的DataFrame
print("原始DataFrame:")
print(df)

# 对DataFrame进行去重操作
df_unique = df.drop_duplicates()

# 打印去重后的DataFrame
print("去重后的DataFrame:")
print(df_unique)

运行以上代码，输出结果如下：

原始DataFrame:
   A  B
0  1  a
1  2  b
2  3  c
3  4  d
4  4  d
5  5  e
去重后的DataFrame:
   A  B
0  1  a
1  2  b
2  3  c
3  4  d
5  5  e

可以看到，去重后的DataFrame中只保留了第一个出现的重复值，并删除了后续出现的重复值。