使用joblib多进程来读取excel
时间:2023-01-11 09:52:36 浏览:51
使用 joblib 多进程来读取 excel 文件需要首先安装 joblib 库,可以使用 pip 安装:
```
pip install joblib
```
然后就可以使用 joblib 的 `Parallel` 函数来并行读取 excel 文件了。
下面是一个简单的例子:
```python
from joblib import Parallel, delayed
import pandas as pd
def read_excel(file_path):
return pd.read_excel(file_path)
file_paths = [file1, file2, file3]
dfs = Parallel(n_jobs=-1)(delayed(read_excel)(file_path) for file_path in file_paths)
```
上面代码定义了一个函数read_excel() 读取excel表,然后使用 joblib 的 Parallel 函数来并行读取多个 excel 文件。
注意: 使用 'n_jobs=-1'参数,代表使用所有可用核心来并行。