python异步协程发起请求,并异步下载内容代码怎么写
时间: 2024-05-17 11:14:58 浏览: 185
python3爬虫中异步协程的用法
使用Python的异步协程库`asyncio`和网络请求库`aiohttp`可以方便地实现异步协程发起请求,并异步下载内容。以下是示例代码:
```python
import asyncio
import aiohttp
async def download(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as response:
content = await response.read()
return content
async def main():
urls = ['https://www.example.com', 'https://www.google.com', 'https://www.bing.com']
tasks = [asyncio.create_task(download(url)) for url in urls]
results = await asyncio.gather(*tasks)
for result in results:
print(len(result))
if __name__ == '__main__':
asyncio.run(main())
```
在上述示例代码中,`download`函数使用`aiohttp`库发起异步请求,返回响应的内容。`main`函数中,我们创建多个异步任务(即下载多个URL的内容),使用`asyncio.gather`函数将这些任务组合起来进行协程调度,等待所有任务都完成后,将结果打印出来。
使用异步协程发起请求和下载内容可以大大提高程序的效率和并发性,适用于对网络请求比较频繁的场景。
阅读全文