Scrapy多线程爬取

Scrapy支持多线程爬取，可以使用Python的threading模块和Queue模块实现。以下是一个简单的示例，展示如何在Scrapy中使用多线程爬取：

import threading
from queue import Queue
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        Rule(LinkExtractor(), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        # 解析页面的代码

def worker():
    while True:
        url = q.get()
        process = CrawlerProcess()
        process.crawl(MySpider, start_urls=[url])
        process.start()
        q.task_done()

q = Queue()
num_threads = 8

for i in range(num_threads):
    t = threading.Thread(target=worker)
    t.daemon = True
    t.start()

for url in urls:
    q.put(url)

q.join()

在这个示例中，我们创建了一个名为MySpider的爬虫，并使用CrawlSpider和LinkExtractor来定义爬取规则。然后，我们创建了一个worker函数，该函数从队列中获取URL并使用CrawlerProcess启动爬虫。最后，我们创建了8个线程，并将URL添加到队列中。

需要注意的是，在使用多线程爬取时，需要适当调整并发请求限制和队列容量，以避免资源冲突和性能问题。