scrapy 怎么写多个parse

Scrapy是一个强大的Python网络爬虫框架，它允许你在爬取网页时定义多个解析阶段，也称为中间件（Middleware）。`parse`函数在Scrapy中主要用于处理每个请求后的响应数据。如果你需要处理多种类型的页面内容，可以编写多个`parse`函数，并根据响应的不同特性来调用相应的函数。

1. **创建多个`parse`方法**：你可以为特定的URL模式、响应状态码或其他条件定义单独的`parse`方法。例如：

   def parse_start_url(self, response):
       # 对于开始的URL，执行特定的解析逻辑
       ...

   def parse_product_page(self, response):
       # 当抓取到产品页面时，执行这个函数
       ...

   def parse_category_listing(self, response):
       # 爬取分类列表时的操作
       ...

2. **基于响应选择器**：在`parse`方法内部，可以根据XPath或CSS选择器检查响应的内容，然后根据匹配的结果调用其他`parse`方法：

   def parse(self, response):
       if response.css('product'):
           yield self.parse_product_page(response)
       elif response.css('category'):
           yield self.parse_category_listing(response)

3. **使用`yield`从一个`parse`到另一个**：如果一个`parse`方法完成了某个操作并想继续处理下一部分内容，可以用`yield`发送一个新的请求并指定回调函数：

   def parse_detail_page(self, response):
       next_page = response.css('a.next::attr(href)').get()
       if next_page:
           yield Request(next_page, callback=self.parse_detail_page)
       else:
           yield { 'data': response.text }  # 提交结果