asyncio异步爬虫

异步爬虫是指使用异步编程库如asyncio来实现同时发出多个HTTP请求，从而加快爬取速度。下面是一个使用asyncio和aiohttp库实现的异步爬虫示例：

import asyncio
import aiohttp

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
        'https://www.baidu.com',
        'https://www.google.com',
        'https://www.bing.com'
    ]

    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in urls:
            tasks.append(asyncio.ensure_future(fetch(session, url)))

        responses = await asyncio.gather(*tasks)
        for response in responses:
            print(response)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

在上面的示例中，我们定义了一个异步函数fetch用于发出HTTP请求并返回响应内容。我们使用async with语句创建一个aiohttp.ClientSession对象，然后通过循环构造多个任务，并使用asyncio.gather函数同时运行这些任务。最后，我们打印出所有响应内容。

需要注意的是，异步爬虫不一定能够加快所有网站的爬取速度，因为有些网站可能会有访问频率限制，如果同时发出大量请求，可能会被封IP。因此，在使用异步爬虫时需要注意合理控制请求频率，避免过度访问同一网站。