scrapy请求的url遇到重定向怎么版

当Scrapy发出请求时，如果遇到重定向，Scrapy会自动处理重定向。默认情况下，Scrapy会遵循HTTP重定向，直到达到最终目标URL或达到最大重定向次数。

如果您想在重定向时执行特定的操作，例如跟踪重定向链或修改请求头，您可以使用Scrapy的`meta`参数。以下是一个示例，演示如何在遇到重定向时跟踪重定向链：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://www.example.com']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, callback=self.parse, meta={'redirect_urls': []})

    def parse(self, response):
        # 从meta参数中获取重定向URL列表
        redirect_urls = response.meta.get('redirect_urls', [])

        # 将当前URL添加到重定向URL列表中
        redirect_urls.append(response.url)

        # 如果存在重定向URL，则跟踪重定向链
        if 'Location' in response.headers:
            location = response.headers['Location'].decode('utf-8')
            redirect_urls.append(location)
            yield scrapy.Request(location, callback=self.parse, meta={'redirect_urls': redirect_urls})
        else:
            # 如果没有重定向，则处理响应
            yield {
                'url': response.url,
                'redirect_urls': redirect_urls
            }

在这个例子中，我们定义了一个名为`myspider`的Spider，并将`start_urls`设置为`http://www.example.com`。我们使用`start_requests`函数创建一个初始请求，并使用`meta`参数传递一个空的重定向URL列表。

在`parse`函数中，我们首先从`meta`参数中获取重定向URL列表。然后，我们将当前URL添加到重定向URL列表中，并检查响应头中是否存在`Location`字段。如果存在，则表示响应是一个重定向，我们将重定向URL添加到重定向URL列表中，并创建一个新的请求，以跟踪重定向链。如果没有重定向，则处理响应。

最后，我们可以通过以下方式启动Spider：

from scrapy.crawler import CrawlerProcess

process = CrawlerProcess()
process.crawl(MySpider)
process.start()

在Scrapy日志中，我们可以看到跟踪的重定向链。