python多线程multiprocessing

时间: 2023-10-13 13:07:01 浏览: 121

python实现多线程的两种方式

### Python实现多线程的两种方式在Python中，多线程是一种常用的技术，它可以显著提高程序的执行效率，尤其是在处理I/O密集型任务时。Python标准库提供了多种多线程支持的方式，主要包括`thread`模块、`threading`模块以及`concurrent.futures`中的`ThreadPoolExecutor`等。本文主要介绍`thread`模块与`threading`模块，并通过具体的代码示例展示这两种实现多线程的方法。 #### 一、Python多线程概述在讨论具体实现方式之前，我们先来了解一下Python中的多线程机制。Python的线程机制是由解释器层面实现的，而不是直接由操作系统提供支持。这意味着Python的线程并不是真正的“系统线程”，而是所谓的“轻量级进程”（Lightweight Process），通常称为“线程”。 Python的`thread`模块提供了一个较低级别的接口来创建和控制线程。然而，由于其较低的抽象级别，`thread`模块不太适合处理复杂的多线程任务。为了解决这个问题，Python引入了`threading`模块，该模块提供了更高级别的抽象和更强大的功能，如锁、条件变量等。 #### 二、`thread`模块与`threading`模块 ##### 1. `thread`模块 `thread`模块是Python中用于创建和管理线程的基本工具之一。它提供了一些基本的线程控制功能，如启动、终止线程等。但由于其较低级别的特性，在实际开发中并不常用。下面是一个简单的例子： ```python import _thread import time def print_time(threadName, delay): count = 0 while count < 5: time.sleep(delay) count += 1 print("%s: %s" % (threadName, time.ctime(time.time()))) try: _thread.start_new_thread(print_time, ("Thread-1", 2,)) _thread.start_new_thread(print_time, ("Thread-2", 4,)) except: print("Error: unable to start thread") ``` 在这个例子中，我们定义了一个名为`print_time`的函数，然后使用`_thread.start_new_thread()`函数创建了两个线程。 ##### 2. `threading`模块 `threading`模块是Python中用于多线程编程的标准库之一，它比`thread`模块更强大且易于使用。`threading`模块的主要特点包括： - **Thread类**：用于创建和控制线程的核心类。 - **Lock/RLock**：用于线程同步的锁机制。 - **Condition**：用于线程间通信的条件变量。 - **Semaphore**：用于控制访问共享资源的信号量。 - **Event**：用于线程间的简单通信。下面是使用`threading`模块实现多线程的两种常见方式： #### 三、使用`threading`模块创建多线程 ##### 3.1 创建函数并传递给`Thread`对象这是创建多线程最简单的方式。我们只需要定义一个函数，然后将其作为`target`参数传递给`Thread`类即可。以下是一个示例： ```python import threading import time def test(nloop, nsec): print('start loop', nloop, 'at:', now()) time.sleep(nsec) print('loop', nloop, 'done at:', now()) def main(): print('starting at:', now()) thread_pool = [] for i in range(10): th = threading.Thread(target=test, args=(i, 2)) thread_pool.append(th) for th in thread_pool: th.start() for th in thread_pool: th.join() print('all Done at:', now()) if __name__ == '__main__': main() ``` 在这个例子中，`test`函数是我们要在线程中运行的函数，通过`threading.Thread`创建多个线程实例，并将它们添加到`thread_pool`列表中。最后通过`join`方法等待所有线程完成。 ##### 3.2 继承`Thread`类另一种创建多线程的方式是继承`Thread`类，并重写`run`方法。这种方式使得我们可以更容易地扩展线程的行为，并且能够通过构造函数传递额外的数据。以下是一个示例： ```python import threading import time class myThread(threading.Thread): def __init__(self, nloop, nsec): super().__init__() self.nloop = nloop self.nsec = nsec def run(self): print('start loop', self.nloop, 'at:', now()) time.sleep(self.nsec) print('loop', self.nloop, 'done at:', now()) def main(): th_pool = [] print('starting at:', now()) for i in range(10): th_pool.append(myThread(i, 2)) for th in th_pool: th.start() for th in th_pool: th.join() print('all Done at:', now()) if __name__ == '__main__': main() ``` 在这个示例中，我们定义了一个`myThread`类，继承自`threading.Thread`，并在`run`方法中实现了具体的逻辑。这样我们就可以通过创建`myThread`的实例来启动线程，并通过构造函数传递参数。 #### 四、总结通过上述示例，我们可以看到使用`threading`模块实现多线程的两种方法：一种是直接定义一个函数并通过`Thread`对象启动；另一种是通过继承`Thread`类并重写`run`方法来创建线程。这两种方法各有优缺点，具体选择哪种方式取决于我们的实际需求。对于简单的任务，直接使用`Thread`类可能更为简便；而对于复杂的需求，则可以通过继承`Thread`类来实现更多的功能。无论是哪种方式，`threading`模块都为我们提供了非常强大的工具来管理多线程环境。

Python的多线程在某些方面并不是很好的原因有几个。首先，Python的全局解释器锁（Global Interpreter Lock，GIL）是一个关键因素。GIL是一种机制，它确保在任何给定的时间点只有一个线程可以执行Python字节码。这意味着即使在多核处理器上运行Python程序，也不能真正实现并行执行。因为GIL的存在，多线程在CPU密集型任务中效率很低，因为它们无法利用多个核心同时运行。相比之下，静态语言如C、Java和C#等不受GIL的限制，因为它们在编译时会将代码转换为机器码，而不是解释执行字节码。这使得这些语言能够更好地利用多核处理器的并行性能。另外，Python的多线程在IO密集型任务上表现得比较好。因为当一个线程遇到阻塞IO操作时，它会释放GIL，并允许其他线程继续执行。这使得Python的多线程在处理IO密集型任务时能够提供并发性能的改进。对于需要更好的并行性能的任务，Python提供了multiprocessing模块，它允许在多个进程中执行任务。与多线程相比，多进程能够充分利用多核处理器的并行性能，因为每个进程都有自己的解释器和GIL。这使得多进程成为处理CPU密集型任务的更好选择。总之，Python的多线程受到GIL的限制，在CPU密集型任务中效率较低。但在IO密集型任务和并行性能要求不高的情况下，Python的多线程仍然可行。对于更好的并行性能，可以使用multiprocessing模块来实现多进程并发。123 #### 引用[.reference_title] - *1* *3* [python多线程(threading)与多进程(multiprocessing)](https://blog.csdn.net/qq_40258748/article/details/88035866)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Python Multiprocessing多进程使用tqdm显示进度条的实现](https://download.csdn.net/download/weixin_38744270/12860505)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

阅读全文

python多线程multiprocessing

相关推荐

python 08、多任务编程多线程 2-1_liao_tian_室、multiprocessing进程.mp4

python多线程

Python多线程与multiprocessing模块详解及实例

Python多线程threading和multiprocessing模块实例解析

简单学习Python多进程Multiprocessing

Python多进程multiprocessing用法实例分析

PYthon-multithreading-Test.rar_python_python 多线程_python多线程_多线程

Python多进程multiprocessing、进程池用法实例分析

Python多进程multiprocessing.Pool深度解析

Python多进程Multiprocessing基础教程与效率比较

Python多进程Multiprocessing实战：从入门到Queue使用

Python多线程实践：Process对象与multiprocessing模块

python multiprocessing多线程样例

python multiprocessing多线程ping

python multiprocessing 多线程关闭

python threading和multiprocessing

python 多线程 多线程

python 多线程编程

Python多线程编程

最新推荐

python多线程并发及测试框架案例

python进阶之多线程对同一个全局变量的处理方法

Python3多进程 multiprocessing 模块实例详解

python multiprocessing多进程变量共享与加锁的实现

Python 多线程+多进程简单使用教程，如何在多进程开多线程

Java集合ArrayList实现字符串管理及效果展示

管理建模和仿真的文件

【MATLAB信号处理优化】：算法实现与问题解决的实战指南

在西门子S120驱动系统中，更换SMI20编码器时应如何确保数据的正确备份和配置？

实现2D3D相机拾取射线的关键技术

python 多线程多线程