scrapy连接pgsql

Scrapy是一个强大的Python网络爬虫框架，而PostgreSQL是一种流行的关系型数据库管理系统。如果你想让Scrapy抓取的数据存储到PGSQL中，可以按照以下步骤操作：

1. 安装必要的库：首先需要安装`psycopg2`库，它允许Scrapy与PostgreSQL交互。你可以通过pip安装：

   pip install psycopg2-binary

2. 配置数据库连接：在Scrapy项目中，你需要创建一个配置文件（如settings.py），并设置数据库相关的参数：

   DATABASES = {
       'default': {
           'ENGINE': 'django.db.backends.postgresql',
           'NAME': 'your_database_name',
           'USER': 'your_username',
           'PASSWORD': 'your_password',
           'HOST': 'localhost',  # 或者你的服务器地址
           'PORT': '',  # 如果默认端口，则留空
       }
   }

3. 数据提取处理：使用Scrapy的Item Pipeline，你可以编写Pipeline来处理抓取的数据，并将其保存到数据库中。例如，你可以创建一个`DatabasePipeline`，并利用`Item.save()`方法将数据插入到表中。

4. 异步处理：如果你希望在数据量大时避免阻塞爬虫，可以考虑使用Scrapy的中间件或者Celery这样的任务队列系统配合异步数据库操作。

from scrapy.exporters import JsonLinesItemExporter
from twisted.enterprise import adbapi

class Psycopg2JsonLinesPipeline:
    def __init__(self, settings):
        self.dbpool = adbapi.ConnectionPool(
            "postgresql",
            host=settings["POSTGRES_HOST"],
            database=settings["POSTGRES_NAME"],
            user=settings["POSTGRES_USER"],
            password=settings["POSTGRES_PASSWORD"]
        )

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings)

    def process_item(self, item, spider):
        query = self.dbpool.runInteraction(self._insert_data, item)
        query.addCallback(self.item_scraped, item, spider)
        return item

    def _insert_data(self, cursor, item):
        # 根据你的数据库模型，这里写入数据的具体SQL查询
        insert_query = "INSERT INTO your_table (column1, column2) VALUES (%s, %s)"
        cursor.execute(insert_query, (item['field1'], item['field2']))

    def item_scraped(self, result, item, spider):
        pass  # 可选：处理插入成功后的回调