python怎么删除重复行
时间: 2023-10-10 15:15:46 浏览: 33
可以使用pandas库来删除重复行,具体步骤如下:
1. 读取数据:使用pandas库的read_csv()函数读取数据文件,生成DataFrame对象。
```
import pandas as pd
df = pd.read_csv('data.csv')
```
2. 删除重复行:使用pandas库的drop_duplicates()函数删除重复行,该函数默认会保留第一个出现的重复行,可以通过参数keep来指定保留哪一个。
```
df.drop_duplicates(inplace=True)
```
其中,inplace=True表示对原DataFrame对象进行修改,不需要赋值给新的变量。如果不加该参数,则需要将返回值赋值给新的变量。
3. 保存数据:使用pandas库的to_csv()函数将处理后的数据保存到文件。
```
df.to_csv('new_data.csv', index=False)
```
其中,index=False表示不保存行索引。
完整代码如下:
```
import pandas as pd
# 读取数据
df = pd.read_csv('data.csv')
# 删除重复行
df.drop_duplicates(inplace=True)
# 保存数据
df.to_csv('new_data.csv', index=False)
```
以上代码会将原数据文件中的重复行删除,并将处理后的数据保存到new_data.csv文件中。
相关问题
python 删除txt重复行
可以使用Python的set()函数来删除txt文件中的重复行。以下是一个简单的例子:
```python
with open('file.txt', 'r') as f:
lines = f.readlines()
lines_set = set(lines)
with open('file.txt', 'w') as f:
for line in lines_set:
f.write(line)
```
在这个例子中,首先打开txt文件并读取所有行,然后使用set()函数来创建一个不包含重复行的集合。最后,将集合中的行写回到同一个txt文件中,这样就可以删除重复行了。
python txt删除重复行
可以使用Python的set()函数来删除txt文件中的重复行,以下是示例代码:
```python
with open('filename.txt','r') as f:
lines = f.readlines()
lines_set = set(lines)
with open('filename.txt','w') as f:
for line in lines_set:
f.write(line)
```
以上代码首先使用`open()`函数读取txt文件中的所有行,然后使用Python的`set()`函数将其转换为一个集合,自动去重。最后再次使用`open()`函数将去重后的结果写回到原文件中。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)