使用python找到多个csv文件某一列的相同项,
时间: 2023-05-24 16:01:47 浏览: 440
python找出一个列表中相同元素的多个索引实例
5星 · 资源好评率100%
可以使用pandas库来读取csv文件并处理数据。以下是一个示例代码:
```
import pandas as pd
import glob
# 获取所有需要处理的csv文件路径
csv_files = glob.glob('/path/to/csv/files/*.csv')
# 读取所有文件的特定列到一个DataFrame中
column_name = 'column_to_query'
data_frames = [pd.read_csv(file_path, usecols=[column_name]) for file_path in csv_files]
df = pd.concat(data_frames, ignore_index=True)
# 找到所有重复项并打印出来
duplicates = df[df.duplicated()]
print(duplicates)
```
这个代码将所有需要查询的csv文件读取到一个DataFrame中,并找到其中所有重复的项。你可以在`/path/to/csv/files/`中指定需要处理的csv文件存放的路径,将`column_to_query`改成需要查询的列的名称即可。
阅读全文