scrapy修改response参数

在Scrapy中，一旦HTTP请求发出并接收了响应，`Response`对象就已经生成。如果你想修改响应的一些参数，通常是在中间件或解析器阶段进行。但是，直接修改原始的`Response`对象可能会导致预期之外的行为，因为这些对象通常是不可变的，也就是说它们不能被改变，而只能返回新的`Response`实例。

然而，有些参数是可以改变的，比如：

1. **`status`**: 可能你想设置错误状态码作为模拟。可以通过`raise Scrapy.RequestError(response)`，然后传递自定义的状态码来实现。

def process_exception(self, request, exception, spider):
    if isinstance(exception, SomeException):  # 自定义异常
        new_response = request.response.replace(status=404)  # 设置为404状态码
        raise Scrapy.RequestError(new_response)

2. **`headers`**: 你可以修改响应头信息，比如添加自定义的User-Agent:

def process_request(self, request, spider):
    if 'custom_header_key' not in request.headers:
        request.headers['Custom-Header'] = 'your_value'

3. **`cookies`**: 如果需要添加或更新cookies，可以这样做：

def process_response(self, request, response, spider):
    cookies_to_add = {'cookie_name': 'cookie_value'}
    response = response.replace(cookies=[(key, value) for key, value in cookies_to_add.items()])
    return response

不过需要注意的是，这些改动通常是为了特殊场景，正常情况下的HTTP响应参数更改应由服务器端控制。