python 怎样很多文件夹中txt的数据批量读取到dataframe
时间: 2023-09-01 07:02:42 浏览: 208
要批量读取多个文件夹中的txt数据到DataFrame,可以按照以下步骤进行操作:
1. 首先,导入所需的Python库,包括pandas库和os库。
2. 使用os库中的函数,如os.walk(),来遍历每个文件夹中的所有文件。
3. 使用pandas库中的read_csv()函数读取每个txt文件并将其转换为DataFrame。
4. 使用pandas库中的concat()函数将所有的DataFrame合并为一个大的DataFrame。
下面是一个示例代码:
```python
import pandas as pd
import os
# 存储所有txt文件的路径
file_paths = []
# 遍历文件夹
for root, dirs, files in os.walk("文件夹路径"):
for file in files:
# 仅选择txt文件
if file.endswith(".txt"):
file_paths.append(os.path.join(root, file))
# 存储所有txt数据的DataFrame列表
dfs = []
# 读取每个txt文件,并将其转换为DataFrame
for file_path in file_paths:
df = pd.read_csv(file_path, delimiter="\t") # 可根据具体情况指定分隔符
dfs.append(df)
# 将所有DataFrame合并为一个大DataFrame
combined_df = pd.concat(dfs, ignore_index=True)
# 打印合并后的DataFrame
print(combined_df)
```
请注意,此代码中的"文件夹路径"应替换为你要读取的文件夹的实际路径。此外,如果你的txt文件有特定的分隔符,如制表符或逗号,你需要根据实际情况调整read_csv()函数的参数。
阅读全文