asyncio异步爬虫

使用 asyncio 实现异步爬虫可以提高爬虫的效率，因为它可以让程序在等待网络 IO 的时候不阻塞，而是去执行其他任务。下面是一个使用 asyncio 实现的简单异步爬虫示例：

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in ['http://example.com', 'http://example.net', 'http://example.org']:
            tasks.append(asyncio.ensure_future(fetch(session, url)))
        htmls = await asyncio.gather(*tasks)
        print(htmls)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

这个示例中，我们使用 aiohttp 库发送异步 HTTP 请求，使用 asyncio.gather() 来执行多个协程，并等待所有协程执行完毕后返回结果。这样就可以实现异步爬虫了。