Scrapy 爬取租房数据分别保存至CSV文件和MySQL数据库

Scrapy是一个强大的Python爬虫框架，用于高效地抓取网络数据。如果你想要利用Scrapy爬取租房信息并将其保存到CSV文件和MySQL数据库，可以按照以下步骤操作：

1. **安装依赖**：
- 安装Scrapy库：`pip install scrapy`
- 如果需要处理CSV，安装pandas库：`pip install pandas`
- 对于MySQL连接，安装mysqlclient或pymysql：`pip install mysql-connector-python`

2. **创建Scrapy项目**：
- 使用命令行创建一个新的Scrapy项目：`scrapy startproject rental_scraper`

3. **定义爬虫**：
- 在`rental_scraper/spiders`目录下编写Spider，如`rental_spider.py`。设置开始URL、解析规则等，并提取租房信息，比如房源标题、价格、地址等。

4. **处理数据**：
- 在Spider的解析函数（如parse()）中，将获取的数据存入一个字典或者list中。
- 对于CSV，你可以用pandas创建DataFrame，然后使用`to_csv()`方法保存数据：

     import pandas as pd
     data = ... # 从解析结果中提取的数据
     df = pd.DataFrame(data)
     df.to_csv('rentals.csv', index=False)  # 将数据保存为CSV文件

5. **连接MySQL**：
- 需要在项目的settings.py中配置MySQL连接：

     DATABASES = {
         'default': {
             'ENGINE': 'django.db.backends.mysql',
             'NAME': 'your_database_name',
             'USER': 'your_username',
             'PASSWORD': 'your_password',
             'HOST': 'localhost',
             'PORT': '',
         }
     }

- 使用SQLAlchemy或Scrapy的内置支持（如果有的话），例如使用items（Item Pipeline）将数据持久化到数据库：

     from scrapy.pipelines.sqlitemongo import SqlitePipeline
     or
     from scrapy.contrib.pipeline.mysql import MySQLPipeline

     pipeline_classes = [
         MyRentalsPipeline,  # 自定义的保存租房数据的管道
         SqlitePipeline,  # 或者MySQLPipeline
     ]

6. **自定义管道**：
- 创建一个自定义的pipeline（如MyRentalsPipeline），在这个类里，你需要实现`process_item()`方法来处理数据并将它们插入到MySQL表中。

7. **运行爬虫**：
- 使用`scrapy crawl rental_spider`启动爬虫。