python3 添加多进程统计数据

在Python 3中，可以使用多进程来并行处理数据统计任务，以提高程序的执行效率。下面是一个简单的示例代码，演示了如何使用多进程进行数据统计：

import multiprocessing

def count_words(filename):
    with open(filename, 'r') as file:
        data = file.read()
        word_count = len(data.split())
        print(f"File {filename}: {word_count} words")

if __name__ == '__main__':
    filenames = ['file1.txt', 'file2.txt', 'file3.txt']

    # 创建进程池，最大进程数为3
    pool = multiprocessing.Pool(processes=3)

    # 使用进程池并行处理任务
    pool.map(count_words, filenames)

    # 关闭进程池
    pool.close()
    pool.join()

在上述代码中，首先定义了一个`count_words`函数，用于统计给定文件中的单词数量。然后，在`if __name__ == '__main__':`条件下创建了一个进程池`pool`，并指定最大进程数为3。接下来，使用`pool.map`方法将`count_words`函数应用到文件列表`filenames`中的每个文件上，实现并行处理。最后，关闭进程池并等待所有子进程执行完毕。

需要注意的是，多进程并行处理数据统计任务时，每个子进程都会拷贝一份数据进行处理，因此在实际应用中需要根据具体情况合理划分任务和数据，以避免资源浪费和数据不一致的问题。