pandas读取一个文件夹下的CSV文件
时间: 2023-11-02 11:05:01 浏览: 91
可以使用 `pandas` 库中的 `concat` 函数和 `glob` 模块来实现。具体步骤如下:
1. 导入 `pandas` 和 `glob` 模块:
```python
import pandas as pd
import glob
```
2. 使用 `glob` 模块匹配所有的 CSV 文件路径,并将它们存储在一个列表中:
```python
path = r'path/to/folder/*.csv'
all_files = glob.glob(path)
```
3. 使用 `pandas` 的 `concat` 函数将所有 CSV 文件合并成一个数据框:
```python
df = pd.concat([pd.read_csv(f) for f in all_files])
```
其中,`pd.read_csv(f)` 读取单个 CSV 文件并返回一个数据框,`[pd.read_csv(f) for f in all_files]` 使用列表推导式将所有的数据框组合成一个列表,最后 `pd.concat()` 函数将列表中的所有数据框合并成一个数据框。
完整代码示例:
```python
import pandas as pd
import glob
path = r'path/to/folder/*.csv'
all_files = glob.glob(path)
df = pd.concat([pd.read_csv(f) for f in all_files])
```
相关问题
pandas读取一个文件夹下所有csv文件某一行
可以使用`pandas`库中的`concat()`和`read_csv()`函数来读取文件夹下所有csv文件,并获取指定行的数据。
以下是示例代码:
``` python
import os
import pandas as pd
# 定义文件夹路径
folder_path = '/path/to/folder'
# 获取文件夹下所有csv文件路径
file_paths = [os.path.join(folder_path, file_name) for file_name in os.listdir(folder_path) if file_name.endswith('.csv')]
# 读取所有csv文件,并获取指定行的数据
row_num = 10 # 指定行号(从0开始)
all_data = pd.concat([pd.read_csv(file_path, usecols=[row_num], header=None) for file_path in file_paths], axis=1)
# 输出结果
print(all_data)
```
在上面的示例代码中,我们首先定义了文件夹路径`folder_path`,然后使用`os.listdir()`函数获取该文件夹下所有csv文件的文件名,并使用`os.path.join()`函数将文件路径与文件夹路径拼接起来,得到文件的完整路径。
接着,我们使用`pd.read_csv()`函数读取每个csv文件中的指定行数据,使用`usecols=[row_num]`参数指定只读取该行数据,使用`header=None`参数表示该csv文件没有列名。
最后,我们使用`pd.concat()`函数将所有csv文件中的指定行数据合并成一个`DataFrame`,并将`axis=1`参数设置为按列合并。
注意,如果每个csv文件中的指定行数据的数据类型不同,合并后的`DataFrame`中该列数据的数据类型也会不同。如果需要将合并后的`DataFrame`中所有列的数据类型都转换为同一类型,可以使用`astype()`函数进行转换。例如,以下代码将合并后的`DataFrame`中所有列的数据类型转换为`float`类型:
``` python
all_data = all_data.astype(float)
```
pandas读取一个文件夹下所有csv文件的3-6行所有数据并导出成excel
可以使用Python中的pandas和os库来实现这个需求。具体的实现步骤如下:
1. 导入pandas和os库:
```python
import pandas as pd
import os
```
2. 设置要读取的文件夹路径和要导出的Excel文件名:
```python
folder_path = 'path/to/folder'
output_file = 'output.xlsx'
```
3. 遍历文件夹下所有的csv文件,并将它们的3-6行读取到一个列表中:
```python
data = []
for filename in os.listdir(folder_path):
if filename.endswith('.csv'):
file_path = os.path.join(folder_path, filename)
df = pd.read_csv(file_path, skiprows=2, nrows=4)
data.append(df)
```
4. 将列表中的数据合并成一个DataFrame,并将它导出到Excel文件中:
```python
result = pd.concat(data)
result.to_excel(output_file, index=False)
```
完整代码如下:
```python
import pandas as pd
import os
folder_path = 'path/to/folder'
output_file = 'output.xlsx'
data = []
for filename in os.listdir(folder_path):
if filename.endswith('.csv'):
file_path = os.path.join(folder_path, filename)
df = pd.read_csv(file_path, skiprows=2, nrows=4)
data.append(df)
result = pd.concat(data)
result.to_excel(output_file, index=False)
```
阅读全文