multiprocessing _pickle.PicklingError

### 解决 Python `multiprocessing` 模块中的 `_pickle.PicklingError` 错误

在使用 Python 的 `multiprocessing` 模块时，可能会遇到 `_pickle.PicklingError` 错误。此错误通常发生在尝试通过进程池传递不可序列化的对象或函数时。

#### 原因分析
该错误的根本原因在于 Python 使用 pickle 库来序列化和反序列化工件以便跨不同进程传输数据。然而，并不是所有的 Python 对象都能被成功序列化。例如，在 Windows 上启动新进程的方式不同于 Unix 系统，这可能导致某些情况下出现 PicklingError[^3]。

#### 解决策略

##### 1. 函数定义位置调整
确保要传递给子进程的目标函数是在顶层模块级别定义的，而不是嵌套在其他函数内部。这是因为只有顶级定义的对象才能被正确地 pickled 和 unpickled。

def worker_function(x):  # 正确做法：作为全局函数定义
    return x * x

而非：

def some_other_func():
    
    def inner_worker(x):  # 不推荐的做法：内联函数难以被序列化
        return x * x
    
    with Pool() as p:
        result = p.map(inner_worker, range(10))

##### 2. 避免传递 lambda 表达式或其他匿名函数
Lambda 表达式同样不易于被序列化；因此应该避免将其直接用于多进程中。

with Pool(processes=4) as pool:
    results = pool.map(lambda x: x ** 2, data_list)  # 可能引发 PicklingError

改为显式的命名函数形式:

def square_number(n):
    return n ** 2

with Pool(processes=4) as pool:
    results = pool.map(square_number, data_list)

##### 3. 处理复杂类型的参数
对于复杂的自定义类实例或者其他可能不支持自动序列化的类型，则需手动提供其序列化逻辑或者寻找替代方案。

如果确实需要共享状态，考虑利用 Manager 类提供的代理对象来进行通信，比如列表、字典等容器结构。

from multiprocessing import Process, Manager

def update_dict(d, key, value):
    d[key] = value

if __name__ == '__main__':
    manager = Manager()
    shared_dict = manager.dict()

    processes = []
    for i in range(5):
        p = Process(target=update_dict, args=(shared_dict, f'key_{i}', i*i))
        processes.append(p)
        p.start()

    for proc in processes:
        proc.join()

    print(shared_dict)

##### 4. 修改入口脚本保护机制 (仅限 Windows)

为了防止潜在的问题发生，在 Windows 平台上应当始终将创建并启动新的工作线程/进程的操作放在 `if __name__ == "__main__":` 守护语句之后执行。

import multiprocessing as mp

def task(arg):
    pass

if __name__ == '__main__':
    pool = mp.Pool()
    try:
        res = pool.map(task, iterable_args)
    finally:
        pool.close()
        pool.join()