Scrapy在爬虫中构造item对象

在Scrapy中，构造item对象用于存储爬取的数据。Item是Scrapy的一个核心概念，它代表了一条数据记录。当你创建一个新的爬虫时，通常会定义一个Item类来描述要抓取的数据结构。

以下是如何在`BooksSpider`中构造item对象的示例：

from scrapy.item import Item, Field

class BookItem(Item):
    # 定义item的字段（即要抓取的数据）
    title = Field()  # 书籍标题
    author = Field()  # 作者名称
    publication_year = Field()  # 出版年份
    price = Field()  # 价格

# 在爬取过程中，每当遇到新的书籍信息，你可以这样创建一个item实例并填充数据
def parse_book(response):
    book_data = {
        "title": response.css('h1::text').get(),  # 提取HTML中的书名
        "author": response.css('span.author::text').get(),
        "publication_year": response.css('.pub-year::text').get(),
        "price": response.css('.price::text').get(),  # 类似地提取其他字段
    }
    book_item = BookItem()  # 创建BookItem实例
    book_item["title"] = book_data["title"]
    # ...重复以上过程填充其它字段
    yield book_item  # 返回这个item给Scrapy处理

在这个例子中，`parse_book`函数负责解析网页内容，提取出`BookItem`所需的字段值，并创建一个新的`book_item`。最后，通过`yield book_item`将这个item返回到Scrapy引擎进一步处理。