pandas删除data.csv文件中conten列重复的数据
时间: 2024-02-03 22:11:34 浏览: 54
pandas去除重复列的实现方法
假设你的数据文件名为`data.csv`,数据分隔符为`,`,要删除重复的`content`列数据,可以按照以下步骤操作:
1. 读取数据文件为 pandas DataFrame:
```python
import pandas as pd
df = pd.read_csv('data.csv', sep=',')
```
2. 删除`content`列中的重复数据:
```python
df.drop_duplicates(subset=['content'], inplace=True)
```
3. 将处理后的数据保存为新的文件:
```python
df.to_csv('new_data.csv', index=False)
```
完整代码如下:
```python
import pandas as pd
df = pd.read_csv('data.csv', sep=',')
df.drop_duplicates(subset=['content'], inplace=True)
df.to_csv('new_data.csv', index=False)
```
这样就可以将重复的`content`列数据删除,并保存为新的文件`new_data.csv`。
阅读全文