python读取目录下的所有csv文件 读取所有的A列 写入txt 不重复
时间: 2023-07-18 19:32:33 浏览: 92
好的,我会按照您的要求进行回答。以下是Python的代码示例:
```python
import os
csv_dir = '/path/to/csv/dir' # CSV文件目录
output_file = '/path/to/output.txt' # 输出文件路径
unique_set = set() # 用于存储不重复的A列数据
with open(output_file, 'w') as f:
for filename in os.listdir(csv_dir):
if filename.endswith('.csv'):
with open(os.path.join(csv_dir, filename), 'r') as csv_file:
for line in csv_file:
a_value = line.split(',')[0] # 读取A列的数据
if a_value not in unique_set: # 如果A列数据不在集合中,则写入输出文件并添加到集合中
f.write(a_value + '\n')
unique_set.add(a_value)
```
解释一下代码的实现过程:
1. 首先定义了一个`csv_dir`变量,用于存储CSV文件所在的目录路径,以及一个`output_file`变量,用于存储输出文件的路径。
2. 创建一个空的集合`unique_set`,用于存储不重复的A列数据。
3. 打开输出文件,准备写入A列数据。
4. 循环遍历CSV文件目录下的所有文件,如果文件后缀名是`.csv`,则打开该文件进行处理。
5. 对于每一行数据,使用`split()`方法将其分割成一个列表,然后取出列表中的第一个元素,即A列的数据。
6. 判断当前A列数据是否在集合中已经存在,如果不存在,则将其写入输出文件,并将其添加到集合中。
7. 处理完所有的CSV文件后,关闭输出文件。
希望这个代码示例能够帮助到您!
阅读全文