python 爬虫 定义一个协程类

在Python中，协程（Coroutine）是一种轻量级的线程实现，它允许函数暂停并保存当前状态，然后在需要时恢复执行。对于爬虫任务来说，协程非常适合处理I/O密集型操作，如网络请求，因为它们可以避免不必要的线程切换，提高效率。

要定义一个用于爬虫的协程类，你可以使用`asyncio`库，它是Python标准库的一部分，专门用于异步编程。下面是一个简单的例子：

import asyncio

class CoroutineCrawler:
    async def fetch_url(self, url):
        # 使用 aiohttp 库发起异步HTTP请求
        import aiohttp
        async with aiohttp.ClientSession() as session:
            async with session.get(url) as response:
                data = await response.text()
                # 这里处理响应数据，例如解析HTML
                return data

    async def crawl(self, urls):
        tasks = [self.fetch_url(url) for url in urls]
        results = await asyncio.gather(*tasks)
        return results

# 使用示例
crawler = CoroutineCrawler()
urls = ['https://example.com', 'https://another-example.com']
coroutine_results = await crawler.crawl(urls)

在这个例子中，`fetch_url`是一个协程函数，它会发出网络请求，并在完成后返回结果。`crawl`方法创建一个协程任务列表，使用`asyncio.gather`等待所有任务完成并收集结果。