pandas去除重复值

pandas中可以使用drop_duplicates()方法去除重复值。该方法可以根据指定的列或所有列进行去重，返回去重后的DataFrame对象。

例如，对于以下的DataFrame对象df：

import pandas as pd

data = {'name': ['Alice', 'Bob', 'Alice', 'Charlie', 'David', 'Bob'],
        'age': [25, 30, 25, 35, 40, 30],
        'gender': ['F', 'M', 'F', 'M', 'M', 'M']}

df = pd.DataFrame(data)

print(df)

输出：

       name  age gender
0     Alice   25      F
1       Bob   30      M
2     Alice   25      F
3  Charlie   35      M
4     David   40      M
5       Bob   30      M

我们可以使用drop_duplicates()方法去除重复值：

df = df.drop_duplicates()

print(df)

输出：

       name  age gender
0     Alice   25      F
1       Bob   30      M
3  Charlie   35      M
4     David   40      M

我们可以看到，去除重复值后，DataFrame对象中只剩下了不重复的行。