multiprocessing pool 产出的数据 如何join起来

multiprocessing pool 是 Python 中一个用于开启并行进程的库，它可以在多个进程中并行地执行指定的函数，从而提高代码运行的效率。当函数执行完毕后，我们需要将各个进程中产生的数据 join 起来以便于进行处理、分析和展现等操作。

在 multiprocessing pool 中，有两个常用的方法可以帮我们将进程产生的数据 join 起来，分别是 map 和 apply_async 方法。map 方法接收一个可迭代对象和一个函数作为参数，将可迭代对象的每个元素传递给函数进行并行处理，并将处理结果组成 List 返回；而 apply_async 方法将函数和参数传递给进程池中的子进程进行处理，并返回一个 AsyncResult 对象。我们可以使用 get 方法调用 AsyncResult 对象来阻塞等待该进程的结果，并将结果 join 起来。

下面是一个简单的例子来演示如何使用 pool 产生的数据 join 起来：

import multiprocessing

# 定义要执行的函数
def foo(x):
    return x * 2

# 创建进程池
pool = multiprocessing.Pool(processes=4)

# 使用 map 方法
results1 = pool.map(foo, [1, 2, 3, 4, 5])
print(results1)  # [2, 4, 6, 8, 10]

# 使用 apply_async 方法
async_results = [pool.apply_async(foo, (i,)) for i in range(1, 6)]
results2 = [result.get() for result in async_results]
print(results2)  # [2, 4, 6, 8, 10]

# 关闭进程池
pool.close()
pool.join()

在这个例子中，我们首先定义了一个名为 foo 的函数来进行处理。接着，我们创建了一个拥有 4 个进程的进程池，并使用 map 和 apply_async 方法来进行处理。最后，在获取到结果后，我们使用 List 的方式将结果 join 起来以便于后续的操作。