Django中运行scrapy框架，并将数据存入数据库

在Django中集成Scrapy并存储数据到其自带的ORM（如SQLite、MySQL等）或第三方数据库（如PostgreSQL），你需要经历以下几个步骤：

1. **安装Scrapy**：
首先确保已安装Python和Django。然后使用pip安装Scrapy：

   pip install scrapy

2. **创建Scrapy项目**：
创建一个新的Scrapy项目，可以命名为`my_spider_project`：

   scrapy startproject my_spider_project

3. **配置中间件**：
在Scrapy项目的`settings.py`文件中，你可以设置一个Django管道（DjangoPipeline）作为默认的数据处理机制。例如，添加一个JSON管道或连接到你的Django应用：

   ITEM_PIPELINES = {
       'my_spider_project.pipelines.DjangoPipeline': 300,
   }
   SPIDER_MIDDLEWARES = {  # 如果需要在爬虫层面处理数据
       'scrapymiddleware.middlewares.ScrapyMiddleware': 543,
   }

   DATABASES = {...}  # 这里填写Django数据库配置

4. **编写Scrapy爬虫和解析器**：
在Scrapy的`spiders`目录下，创建一个新的爬虫，编写提取数据的逻辑。使用`yield`来返回Item实例，它们会通过管道传递。

5. **创建Django模型**：
在Django应用中的`models.py`中定义你想存储数据的模型。例如，如果抓取的是用户信息：

   from django.db import models

   class User(models.Model):
       name = models.CharField(max_length=100)
       email = models.EmailField()

6. **定义Django管道**：
在`pipelines.py`中编写DjangoPipeline，将Scrapy Item转换成Django Model实例并保存到数据库：

   class DjangoPipeline(object):
       def process_item(self, item, spider):
           user = User.objects.create(**item)  # 使用字典解包的方式填充模型字段
           return item

7. **启动Scrapy爬虫**：
在命令行中运行Scrapy爬虫，它会按照配置自动将数据写入Django的数据库。