scrapy将数据保存到mysql

Scrapy提供了一个方便的Pipeline来将数据存储到MySQL数据库中。要将数据存储到MySQL中，您需要安装pymysql库。可以使用以下命令来安装：

pip install pymysql

然后，在项目的settings.py文件中添加以下代码：

ITEM_PIPELINES = {
   'myproject.pipelines.MySQLPipeline': 300,
}

MYSQL_HOST = 'localhost' # MySQL服务器地址
MYSQL_DBNAME = 'mydatabase' # MySQL数据库名
MYSQL_USER = 'myuser' # MySQL用户名
MYSQL_PASSWD = 'mypassword' # MySQL密码

接下来，您需要创建名为MySQLPipeline.py的文件，并在其中编写将数据存储到MySQL的代码：

import pymysql

class MySQLPipeline(object):
    def __init__(self, host, dbname, user, password):
        self.host = host
        self.dbname = dbname
        self.user = user
        self.password = password

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            host=crawler.settings.get('MYSQL_HOST'),
            dbname=crawler.settings.get('MYSQL_DBNAME'),
            user=crawler.settings.get('MYSQL_USER'),
            password=crawler.settings.get('MYSQL_PASSWD')
        )

    def open_spider(self, spider):
        self.conn = pymysql.connect(host=self.host, user=self.user, password=self.password, db=self.dbname)
        self.cursor = self.conn.cursor()

    def close_spider(self, spider):
        self.conn.commit()
        self.conn.close()

    def process_item(self, item, spider):
        sql = "INSERT INTO mytable (column1, column2) VALUES (%s, %s)"
        self.cursor.execute(sql, (item['field1'], item['field2']))
        return item

在上面的代码中，我们使用了pymysql库来连接到MySQL数据库。在open_spider()方法中我们打开了数据库连接，并使用process_item()方法将数据插入到MySQL中。在close_spider()方法中，我们提交了所有的更改并关闭了数据库连接。

最后，确保您的Spider中的Item具有相应的字段名称，以便可以在process_item()方法中访问它们。