scrapy创建蜘蛛

Scrapy是一个强大的Python爬虫框架，用于高效地抓取网站数据。创建一个基本的Scrapy蜘蛛需要按照以下步骤：

1. **初始化项目**：
使用`scrapy startproject [project_name]`命令创建一个新的Scrapy项目。

2. **定义Spider**：
在`spiders`文件夹下创建一个Python类，通常命名为`[site_name].py`。这个类需要继承自`Scrapy.Spider`基础类，并覆盖`name`属性表示 Spider 的名字，以及定义两个方法：
- `start_urls`：列举要抓取的第一个URL列表。
- `parse()` 或 `parse(response)`：处理网页响应的方法，通常解析HTML内容并提取所需的数据，然后通过`yield item`语句返回请求新的链接或者生成item（包含数据的对象）。

例如：

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://www.example.com']

    def parse(self, response):
        # 解析网页
        title = response.css('h1::text').get()
        yield {'title': title}
        # 发现更多链接并请求
        for link in response.css('a'):
            yield response.follow(link, self.parse)