使用joblib多进程来读取excel

使用joblib库来实现多进程读取Excel文件可以显著提高程序的运行效率。下面是一个基本的示例代码：

from joblib import Parallel, delayed
import pandas as pd

def read_excel(file):
    df = pd.read_excel(file)
    return df

if __name__ == '__main__':
    files = ['file1.xlsx', 'file2.xlsx', 'file3.xlsx']
    num_cores = 4  # 设置使用的CPU核心数量，这里设为4
    results = Parallel(n_jobs=num_cores)(
        delayed(read_excel)(file) for file in files)
    print(results)

在这个例子中，我们定义了一个`read_excel`函数，它使用pandas库中的`read_excel`函数来读取Excel文件。然后，我们使用`Parallel`函数来创建一个并行化的任务列表，将每个Excel文件传递给`read_excel`函数进行处理。`n_jobs`参数指定了我们使用多少个CPU核心来运行任务。最后，我们得到一个包含所有结果的列表。

需要注意的是，在Windows系统上，由于joblib库的实现方式，可能会导致出现一些奇怪的错误。这种情况下，可以使用multiprocessing库来代替joblib。