用python对多个txt文件合并并去重,代码
时间: 2023-05-29 21:02:43 浏览: 56
以下是一个简单的python程序,可以合并多个txt文件并去重:
```python
# 导入os模块
import os
# 设置要合并的文件夹路径和合并后的文件名
folder_path = r"C:\test_folder"
merged_file_name = "merged.txt"
# 定义一个集合来存储数据
data_set = set()
# 遍历文件夹下的所有txt文件,并将数据添加到集合中
for root, dirs, files in os.walk(folder_path):
for file in files:
if file.endswith(".txt"):
with open(os.path.join(root, file), "r") as f:
for line in f:
data_set.add(line.strip())
# 将集合中的数据写入合并后的文件中
with open(os.path.join(folder_path, merged_file_name), "w", encoding="utf-8") as f:
for data in data_set:
f.write(data + "\n")
print("合并完成。")
```
需要注意的是,以上代码中添加到集合中的数据是按行读取的,如果想按照其他方式去重,可以根据需要进行修改。
相关问题
python怎么将多个csv表格合并并去重
您可以使用Python中的Pandas库来合并和去重多个CSV表格。具体步骤如下:
1. 导入Pandas库:
```
import pandas as pd
```
2. 读取CSV文件:
```
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
df3 = pd.read_csv('file3.csv')
```
3. 合并CSV文件:
```
merged = pd.concat([df1, df2, df3])
```
4. 去重:
```
merged = merged.drop_duplicates()
```
5. 将合并后的数据写入新的CSV文件:
```
merged.to_csv('merged.csv', index=False)
```
这样就可以将多个CSV表格合并并去重,最终得到一个新的CSV文件merged.csv。
用python脚本将多个excel合并成csv文件并去重‘’
使用Python脚本可以轻松将多个Excel文件合并成一个CSV文件并去重。以下是具体步骤:
1. 导入所需的模块 pandas 和 os:
```python
import pandas as pd
import os
```
2. 定义要合并的Excel文件所在的文件夹路径:
```python
folder_path = "path/to/folder"
```
3. 使用 os 模块读取文件夹中的所有 Excel 文件,并将它们合并为一个 DataFrame:
```python
all_data = pd.DataFrame()
for file in os.listdir(folder_path):
if file.endswith(".xlsx"):
df = pd.read_excel(os.path.join(folder_path, file))
all_data = pd.concat([all_data, df])
```
4. 现在,我们可以将合并后的 DataFrame 写入一个 CSV 文件。同时,我们可以使用 drop_duplicates 方法去重:
```python
all_data.drop_duplicates().to_csv("merged_file.csv", index=False)
```
这个脚本将读取指定文件夹中的所有 Excel 文件,将它们合并到一个 DataFrame 中,并将合并后的数据按照指定顺序写入一个 CSV 文件。而由于使用了 drop_duplicates 方法,输出的 CSV 文件中将不包含任何重复的数据。