python异步asyncio

时间: 2023-10-15 16:28:20 浏览: 141

详解python异步编程之asyncio(百万并发)

5星 · 资源好评率100%

前言：python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率，弥补了python性能方面的短板，如最新的微服务框架japronto，resquests per second可达百万级。 python还有一个优势是库（第三方库）极为丰富，运用十分方便。asyncio是python3.4版本引入到标准库，python2x没有加这个库，毕竟python3x才是未来啊，哈哈！python3.5又加入了async/await特性。在学习asyncio之前，我们先来理清楚同步/异步的概念：同步是指完成 Python中的异步编程是解决高并发、IO密集型任务的关键技术。由于Python的全局解释器锁（GIL），它在多核环境下无法充分利用CPU资源，但在处理网络I/O时，异步编程能够显著提高效率。Python 3.4引入了标准库`asyncio`，在3.5版本中进一步增加了`async`和`await`这两个关键字，使得异步编程更加简洁易用。同步编程是一种线性执行方式，当一个任务阻塞时，后续任务必须等待该任务完成才能继续执行。这在处理大量网络请求或磁盘I/O时会导致效率低下，因为大部分时间都在等待I/O操作完成，而非执行计算任务。相比之下，异步编程允许程序在等待I/O操作时继续执行其他任务，提高了整体效率。在`asyncio`中，`async def`用于定义异步函数，其中包含可能会阻塞的I/O操作，例如`asyncio.sleep()`。这些函数返回一个协程对象。事件循环（`asyncio.get_event_loop()`）负责调度和执行这些协程。通过`asyncio.run()`或`loop.run_until_complete()`，我们可以将协程提交给事件循环，使其在后台执行，同时让主线程可以处理其他任务。以下是一个简单的同步与异步对比示例：同步代码： ```python import time def hello(): time.sleep(1) def run(): for _ in range(5): hello() print('Hello World:', time.time()) if __name__ == '__main__': run() ``` 同步代码中，每个`hello()`调用都会阻塞1秒，导致总共需要5秒才能完成。异步代码： ```python import asyncio import time async def hello(): await asyncio.sleep(1) print('Hello World:', time.time()) async def run(): await asyncio.gather(*[hello() for _ in range(5)]) if __name__ == '__main__': asyncio.run(run()) ``` 异步代码中，所有`hello()`调用几乎是并行执行的，因此输出的"Hello World"几乎是同时出现，大大减少了总执行时间。当需要处理HTTP请求时，可以使用`aiohttp`库，这是一个专为异步编程设计的HTTP客户端和服务器库。使用`ClientSession`，我们可以发起异步的GET、POST等请求。以下是一个使用`aiohttp`发送异步HTTP请求的例子： ```python import asyncio from aiohttp import ClientSession async def hello(url): async with ClientSession() as session: async with session.get(url) as response: response_text = await response.text() print(response_text) if __name__ == '__main__': url = "https://www.baidu.com/" loop = asyncio.get_event_loop() loop.run_until_complete(hello(url)) ``` 在这个例子中，`ClientSession`的异步上下文管理器`async with`确保了请求的正确关闭，即使在异常情况下也能释放资源。`await response.text()`等待响应体完全读取，然后打印出来。总结来说，Python的`asyncio`库结合`aiohttp`，为开发者提供了强大的工具，能够在IO密集型场景下实现高效的异步并发处理，有效利用系统资源，提升程序性能，从而在微服务框架、网络爬虫等领域展现出强大的竞争力。

Python中的异步编程模块是asyncio。asyncio提供了一种基于协程的异步编程方式，使得在处理IO密集型任务时能够更高效地利用CPU资源。在asyncio中，可以通过定义```async def```关键字来定义异步函数。异步函数可以使用```await```关键字来等待其他异步函数的执行结果，并且可以在等待的过程中让出CPU资源，执行其他任务。通过这种方式，可以实现并发执行多个异步任务。在异步代码中，通常使用事件循环(event loop)来调度和执行异步任务。事件循环会不断地从任务队列中获取任务，并将其发送给可执行的协程进行执行。在执行过程中，如果遇到了IO操作，如网络请求或文件读写，协程会将其交给事件循环处理，并继续执行其他任务。当IO操作完成后，事件循环会将结果返回给协程，协程继续执行后面的代码。为了实现异步操作，可以使用async with语句来创建一个异步上下文管理器。异步上下文管理器可以通过定义```__aenter__```和```__aexit__```方法来控制进入和退出异步上下文的操作。在进入异步上下文时，可以执行一些准备工作，比如建立数据库连接；在退出异步上下文时，可以执行一些清理工作，比如关闭数据库连接。另外，在处理多个URL请求时，可以使用asyncio的Future对象来包装异步函数，并将Future对象列表作为任务传递给事件循环。这样可以实现并发处理多个URL请求，提高程序的执行效率。总之，asyncio是Python中处理异步编程的重要模块，它提供了一种基于协程的异步编程方式，可以在IO密集型任务中提高程序的执行效率。123 #### 引用[.reference_title] - *1* [python asyncio异步编程](https://blog.csdn.net/weixin_45859193/article/details/119930305)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [python异步编程之asyncio（百万并发）](https://blog.csdn.net/m0_72557783/article/details/128322661)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

阅读全文

python异步asyncio

相关推荐

python 异步async库的使用说明

Python Asyncio：异步编程和并发指南

python 异步 asyncio

python 异步 asyncio爬虫

熟悉python的异步asyncio ORM-Python开发

python异步编程asyncio

python 异步io asyncio

Python异步编程 asyncio小白速通

aiologger:python和asyncio的异步日志记录

Python-asyncio一个给Python33使用的asyncio模块从Python34开始asyncio已经被纳入标准库

Python异步库asyncio_redis版本0.15.1发布

aioga: 开启Python中asyncio对Google Analytics的异步追踪

异步编程进阶技巧：Python中asyncio与异步函数的终极指南

协程asyncio_Python 异步模块 asyncio 中的协程与任务

python协程asyncio

python的asyncio

python 协程asyncio爬虫

python协程asyncio爬虫

介绍python的asyncio

最新推荐

详解python异步编程之asyncio(百万并发)

python 异步async库的使用说明

Python自动巡检H3C交换机实现过程解析

泰迪杯 ： 基于 python 实现 运输车辆安全驾驶行为的分析

基于Python和Opencv的车牌识别系统实现

管理建模和仿真的文件

网络隔离与防火墙策略：防御网络威胁的终极指南

在密码学中，对称加密和非对称加密有哪些关键区别，它们各自适用于哪些场景？

我的代码小部件库：统计、MySQL操作与树结构功能

"互动学习：行动中的多样性与论文攻读经历"

泰迪杯：基于 python 实现运输车辆安全驾驶行为的分析