python运用生产者和消费者模式爬取网页信息

生产者-消费者模式是一种常见的并发编程模式，可以有效地解决多线程协作的问题。在爬取网页信息时，我们可以使用生产者-消费者模式来提高效率。

具体实现步骤如下：

1.定义一个生产者类，负责爬取网页信息并将其放入队列中。

2.定义一个消费者类，负责从队列中取出网页信息并进行处理。

3.创建多个生产者和消费者线程，并启动它们。

4.使用线程锁来保证队列操作的安全性。

下面是一个简单的示例代码：

import threading
import queue
import requests

class Producer(threading.Thread):
    def __init__(self, url_queue, html_queue):
        super().__init__()
        self.url_queue = url_queue
        self.html_queue = html_queue

    def run(self):
        while True:
            url = self.url_queue.get()
            html = requests.get(url).text
            self.html_queue.put(html)
            self.url_queue.task_done()

class Consumer(threading.Thread):
    def __init__(self, html_queue):
        super().__init__()
        self.html_queue = html_queue

    def run(self):
        while True:
            html = self.html_queue.get()
            # 处理网页信息的代码
            self.html_queue.task_done()

if __name__ == '__main__':
    url_queue = queue.Queue()
    html_queue = queue.Queue()

    urls = ['http://www.example.com/page{}'.format(i) for i in range(10)]

    for url in urls:
        url_queue.put(url)

    for i in range(5):
        t = Producer(url_queue, html_queue)
        t.daemon = True
        t.start()

    for i in range(5):
        t = Consumer(html_queue)
        t.daemon = True
        t.start()

    url_queue.join()
    html_queue.join()

在这个示例代码中，我们先定义了一个生产者类 `Producer` 和一个消费者类 `Consumer`。生产者负责从 `url_queue` 中取出一个 URL，然后爬取该网页的 HTML 代码，并将其放入 `html_queue` 中。消费者则从 `html_queue` 中取出一个 HTML 代码，然后进行处理。

我们使用了两个队列 `url_queue` 和 `html_queue` 来协调生产者和消费者之间的通信。同时，我们创建了 5 个生产者线程和 5 个消费者线程，并启动它们。最后，我们使用 `join()` 方法来等待所有的任务都完成。