爬虫实验scrapy框架爬取图书网的实验步骤

以下是爬取图书网的实验步骤：

1. 创建 Scrapy 项目

使用命令行工具创建一个新的 Scrapy 项目，例如：

scrapy startproject books_crawler

2. 定义 Item

在 `items.py` 文件中定义我们要爬取的数据模型，例如：

import scrapy

class Book(scrapy.Item):
    title = scrapy.Field()
    author = scrapy.Field()
    price = scrapy.Field()
    description = scrapy.Field()

3. 定义 Spider

在 `spiders` 目录下创建一个新的 Spider，例如：

import scrapy
from books_crawler.items import Book

class BooksSpider(scrapy.Spider):
    name = 'books'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/books/']

    def parse(self, response):
        books = response.css('div.book')
        for book in books:
            item = Book()
            item['title'] = book.css('h2.title::text').get()
            item['author'] = book.css('p.author::text').get()
            item['price'] = book.css('p.price::text').get()
            item['description'] = book.css('p.description::text').get()
            yield item

在 Spider 中，我们首先定义了 Spider 的名称、允许的域名和起始 URL。然后在 `parse` 方法中，使用 CSS Selector 提取书籍数据，并将其存储为 Item 对象。最后，使用 `yield` 关键字将 Item 对象传递给 Scrapy 引擎。

4. 配置 Pipeline

在 `settings.py` 文件中配置 Scrapy Pipeline，例如：

ITEM_PIPELINES = {
    'books_crawler.pipelines.BooksCrawlerPipeline': 300,
}

FEED_FORMAT = 'csv'
FEED_URI = 'books.csv'

我们将数据存储在一个 CSV 文件中，因此需要将 `FEED_FORMAT` 设置为 `csv`，并指定 CSV 文件的路径。同时，将 `ITEM_PIPELINES` 设置为一个字典，其中包含我们定义的 Pipeline 类和优先级。

5. 定义 Pipeline

在 `pipelines.py` 文件中定义 Scrapy Pipeline，例如：

import csv

class BooksCrawlerPipeline:
    def __init__(self):
        self.file = open('books.csv', 'w', newline='')
        self.writer = csv.writer(self.file)
        self.writer.writerow(['Title', 'Author', 'Price', 'Description'])

    def process_item(self, item, spider):
        self.writer.writerow([item['title'], item['author'], item['price'], item['description']])
        return item

    def close_spider(self, spider):
        self.file.close()

在 Pipeline 中，我们首先定义了一个 CSV 文件，并创建了一个 CSV writer 对象。然后，在 `process_item` 方法中，将每个 Item 对象写入 CSV 文件。最后，在 `close_spider` 方法中，关闭 CSV 文件。

6. 运行 Spider

使用如下命令启动爬虫：

scrapy crawl books

如果一切正常，Scrapy 将开始爬取图书网，并将提取的数据存储在 `books.csv` 文件中。