drop_duplicates删除列重复行
时间: 2023-08-09 20:06:12 浏览: 154
删除文本重复行
如果你想要删除一个或多个列中的重复行,可以使用Pandas库中的drop_duplicates方法。以下是一个示例:
```python
import pandas as pd
# Read CSV file
df = pd.read_csv('data.csv')
# Drop duplicates based on selected columns
df.drop_duplicates(subset=['column1', 'column2'], inplace=True)
# Write to CSV file
df.to_csv('new_data.csv', index=False)
```
在上面的代码中,我们首先读取了CSV文件并将其存储在一个Pandas的DataFrame对象中。然后,我们使用drop_duplicates方法从DataFrame中删除重复行。其中,subset参数用于选择要考虑的列,inplace参数用于指示是否在原地修改DataFrame。最后,我们将新的DataFrame写入CSV文件中。
需要注意的是,如果你只想考虑一个列,可以将subset参数设置为该列的名称。如果你想考虑所有列,则无需指定subset参数。
阅读全文