批量将所有二级文件夹中csv文件转换成pkl文件,并且输出按照原二级文件夹命名保存
时间: 2024-10-15 13:08:07 浏览: 30
批量将CSV文件转换成Pickle(pkl)文件并保持原始文件夹结构的过程通常涉及使用脚本语言如Python,配合os和pickle库来完成。这里是一个简单的步骤概述:
1. 导入必要的库:
```python
import os
import pickle
```
2. 定义一个函数来处理单个CSV文件到对应Pickle文件的转换:
```python
def csv_to_pkl(file_path_csv, file_path_pickle):
with open(file_path_csv, 'rb') as csv_file, open(file_path_pickle, 'wb') as pkl_file:
pickle.dump(csv_file.read(), pkl_file)
```
3. 遍历指定的二级文件夹及其CSV文件,应用上述函数:
```python
def batch_convert(start_dir, target_dir):
for root, dirs, files in os.walk(start_dir):
for file in files:
if file.endswith('.csv'):
csv_file = os.path.join(root, file)
pkl_file_name = os.path.splitext(file)[0] + '.pkl'
pkl_file = os.path.join(target_dir, os.path.relpath(root, start_dir), pkl_file_name)
csv_to_pkl(csv_file, pkl_file)
```
4. 调用`batch_convert`函数,提供源目录(包含CSV文件)和目标目录:
```python
source_dir = 'your_csv_folder'
target_dir = 'your_pickle_folder'
batch_convert(source_dir, target_dir)
```
在这个过程中,每个CSV文件都会转换成Pickle文件,并且新生成的Pickle文件会放在与它对应的原始二级文件夹内,文件名保持一致,只是后缀变为.pkl。
阅读全文