简述Scrapy 框架中 pipeline 的核心方法及各方法实现什么功能

Scrapy 框架中的 pipeline 是数据处理的核心组件之一，主要负责处理 Spider 中爬取到的数据并进行存储、清洗、去重等操作。pipeline 中有以下核心方法：

1. `process_item(item, spider)`：该方法是 pipeline 中必须实现的核心方法，用于处理爬取到的数据 item。具体实现可以包括数据清洗、数据存储等操作，并将处理后的数据返回。在 pipeline 中，可以定义多个 process_item 方法，每个方法按照优先级依次执行。

2. `open_spider(spider)`：该方法在爬虫启动时调用，用于初始化一些资源或连接等操作。

3. `close_spider(spider)`：该方法在爬虫结束时调用，用于清理资源或连接等操作。

4. `from_crawler(cls, crawler)`：该方法是一个类方法，用于创建 pipeline 实例。可以通过该方法获取 Scrapy 中的配置信息和其他组件。

5. `process_exception(item, spider, exception)`：该方法在处理数据过程中遇到异常时调用，可以用于处理异常并返回处理结果。

不同的 pipeline 实现可能会实现不同的方法，但以上这些方法是 Scrapy 中最常见的 pipeline 方法，它们分别实现了不同的功能，如数据处理、资源初始化和清理等操作。