用python实现对https://lishi.tianqi.com/beijing/202211.html的运用scrapy框架的爬虫并将数据存入数据库

好的，以下是使用Scrapy框架爬取https://lishi.tianqi.com/beijing/202211.html并将数据存入数据库的步骤：

1. 创建Scrapy项目

在命令行中输入以下命令：

scrapy startproject lishi

这将创建一个名为`lishi`的Scrapy项目。

2. 创建Spider

在`lishi/spiders`目录下创建一个名为`lishi_spider.py`的文件，并添加以下代码：

import scrapy
from lishi.items import LishiItem

class LishiSpider(scrapy.Spider):
    name = "lishi"
    allowed_domains = ["lishi.tianqi.com"]
    start_urls = ["https://lishi.tianqi.com/beijing/202211.html"]

    def parse(self, response):
        item = LishiItem()
        item['date'] = response.css('ul.tqtongji2 li:nth-child(1)::text').get()
        item['max_temp'] = response.css('ul.tqtongji2 li:nth-child(2)::text').get()
        item['min_temp'] = response.css('ul.tqtongji2 li:nth-child(3)::text').get()
        item['weather'] = response.css('ul.tqtongji2 li:nth-child(4)::text').get()
        item['wind'] = response.css('ul.tqtongji2 li:nth-child(5)::text').get()
        yield item

在这个Spider中，我们定义了`name`属性为`lishi`，并设置`allowed_domains`为`lishi.tianqi.com`，`start_urls`为要爬取的网址。`parse()`方法是Scrapy默认的回调函数，用于处理`start_urls`中的响应。在这个方法中，我们使用CSS选择器选择天气历史数据，并将其输出为`LishiItem`对象。

3. 创建Item

在`lishi`目录下创建一个名为`items.py`的文件，并添加以下代码：

import scrapy

class LishiItem(scrapy.Item):
    date = scrapy.Field()
    max_temp = scrapy.Field()
    min_temp = scrapy.Field()
    weather = scrapy.Field()
    wind = scrapy.Field()

`LishiItem`是我们定义的一个Scrapy Item，用于存储天气历史数据。

4. 配置数据库

在`settings.py`文件中添加以下代码：

ITEM_PIPELINES = {
    'lishi.pipelines.LishiPipeline': 300,
}

MONGODB_SERVER = "localhost"
MONGODB_PORT = 27017
MONGODB_DB = "weather"
MONGODB_COLLECTION = "lishi"

这里我们启用了一个名为`LishiPipeline`的Item Pipeline，并配置了MongoDB数据库的连接信息。

5. 创建Pipeline

在`lishi`目录下创建一个名为`pipelines.py`的文件，并添加以下代码：

import pymongo

class LishiPipeline(object):
    def __init__(self, mongo_uri, mongo_db, mongo_collection):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db
        self.mongo_collection = mongo_collection

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGODB_SERVER'),
            mongo_db=crawler.settings.get('MONGODB_DB'),
            mongo_collection=crawler.settings.get('MONGODB_COLLECTION')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.mongo_collection].insert_one(dict(item))
        return item

这里我们定义了一个名为`LishiPipeline`的Item Pipeline，用于将爬取到的数据存入MongoDB数据库中。

6. 运行Spider

在命令行中，进入`lishi`项目目录，输入以下命令：

scrapy crawl lishi

这会运行我们刚刚创建的Spider，并将结果存入MongoDB数据库中。

7. 结果验证

在MongoDB数据库中，可以查询到我们爬取到的天气历史数据。