pandas读取一个文件夹下所有csv文件某一行
时间: 2023-12-19 17:03:51 浏览: 95
可以使用`pandas`库中的`concat()`和`read_csv()`函数来读取文件夹下所有csv文件,并获取指定行的数据。
以下是示例代码:
``` python
import os
import pandas as pd
# 定义文件夹路径
folder_path = '/path/to/folder'
# 获取文件夹下所有csv文件路径
file_paths = [os.path.join(folder_path, file_name) for file_name in os.listdir(folder_path) if file_name.endswith('.csv')]
# 读取所有csv文件,并获取指定行的数据
row_num = 10 # 指定行号(从0开始)
all_data = pd.concat([pd.read_csv(file_path, usecols=[row_num], header=None) for file_path in file_paths], axis=1)
# 输出结果
print(all_data)
```
在上面的示例代码中,我们首先定义了文件夹路径`folder_path`,然后使用`os.listdir()`函数获取该文件夹下所有csv文件的文件名,并使用`os.path.join()`函数将文件路径与文件夹路径拼接起来,得到文件的完整路径。
接着,我们使用`pd.read_csv()`函数读取每个csv文件中的指定行数据,使用`usecols=[row_num]`参数指定只读取该行数据,使用`header=None`参数表示该csv文件没有列名。
最后,我们使用`pd.concat()`函数将所有csv文件中的指定行数据合并成一个`DataFrame`,并将`axis=1`参数设置为按列合并。
注意,如果每个csv文件中的指定行数据的数据类型不同,合并后的`DataFrame`中该列数据的数据类型也会不同。如果需要将合并后的`DataFrame`中所有列的数据类型都转换为同一类型,可以使用`astype()`函数进行转换。例如,以下代码将合并后的`DataFrame`中所有列的数据类型转换为`float`类型:
``` python
all_data = all_data.astype(float)
```
阅读全文