pyhon pandas读取文件夹中文件
时间: 2023-10-14 21:29:12 浏览: 94
的方法是什么?
你可以使用pandas中的`read_csv`函数,配合Python内置的`os`模块,读取文件夹中的所有csv文件。具体操作如下:
```python
import pandas as pd
import os
folder_path = 'your_folder_path' # 文件夹路径
df = pd.concat([pd.read_csv(os.path.join(folder_path, f)) for f in os.listdir(folder_path) if f.endswith('.csv')])
# 遍历文件夹中所有csv文件,逐个读取并合并为一个DataFrame
```
需要注意的是,上述方法假设文件夹中只包含csv文件。如果有其他类型的文件,则需要根据实际情况进行修改。同时,如果文件夹中的文件过大,可能会占用较多内存,请根据实际情况进行调整。
相关问题
用python pandas读取文件夹里所有的txt 文件
以下是使用Python Pandas读取文件夹里所有的txt文件的示例代码:
```python
import pandas as pd
import os
# 指定文件夹路径
folder_path = r"path/to/folder"
# 获取文件夹中所有txt文件的路径
txt_files = [os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.endswith('.txt')]
# 创建空的DataFrame
df = pd.DataFrame()
# 循环读取txt文件到DataFrame中
for file in txt_files:
temp_df = pd.read_csv(file, delimiter='\t', header=None) # 如果txt文件使用了tab分隔符,delimiter参数需要设置为'\t'
df = pd.concat([df, temp_df], ignore_index=True)
# 输出DataFrame
print(df)
```
上述代码中,首先我们指定了一个文件夹路径,然后使用os.listdir()函数获取该文件夹下所有以.txt结尾的文件路径。接着,我们创建了一个空的DataFrame,并循环读取每个txt文件到DataFrame中。最后,我们输出了DataFrame的内容。注意,在读取txt文件时,我们需要指定文件的分隔符(delimiter参数),以及是否存在表头(header参数)。由于每个txt文件的格式可能不同,因此在实际应用中需要根据具体情况进行调整。
pandas读取文件夹下所有文件
Pandas库提供了一种简单的方式来读取文件夹下的所有CSV、Excel、文本或其他数据文件。你可以使用`pandas.concat()`函数结合`glob.glob()`来实现这个功能。`glob.glob()`用于查找匹配指定模式的文件,然后对找到的所有文件应用相同的读取操作。
下面是一个基本的例子:
```python
import pandas as pd
import glob
# 指定文件夹路径和通配符(表示所有的CSV文件)
folder_path = 'path/to/your/folder/*.csv'
# 使用glob.glob()获取文件列表
file_list = glob.glob(folder_path)
# 创建一个空的数据框列表,用于存储每个文件的内容
data_frames = []
# 遍历文件列表并读取每一份文件
for file in file_list:
df_temp = pd.read_csv(file)
data_frames.append(df_temp)
# 如果需要,可以将所有数据框合并成一个大表
all_data = pd.concat(data_frames, ignore_index=True) # ignore_index=True防止索引重复
阅读全文