Scrapy爬虫基础

### Scrapy 爬虫基础知识

#### 创建Scrapy项目
为了启动一个新的Scrapy项目，可以使用`scrapy startproject <项目名>`命令来初始化一个包含基本结构的新项目。这一步骤会自动生成一系列必要的文件夹和文件用于构建爬虫应用[^2]。

#### 编写爬虫逻辑
一旦有了项目框架，在`spiders`目录下创建具体的爬虫脚本是非常重要的环节。例如名为`qb`的爬虫可以通过编辑`myspider.py`实现特定网站的数据抓取功能，并通过执行`scrapy crawl qb`让其运行起来[^1]。

#### 主要组件解析
Scrapy的核心架构围绕着五个关键部分展开：

- **引擎(Engine)**：负责控制整个系统的数据流。
- **调度器(Scheduler)**：管理请求队列并将其分配给下载器处理。
- **下载器(Downloader)**：发送HTTP/HTTPS请求获取网页内容。
- **爬虫(Spiders)**：定义如何解析页面提取所需信息。
- **项目管道(Pipeline)**：处理由Spider抽取出来的Item对象，完成清洗、验证及持久化存储等工作[^3].

#### 工作流程概述
当Scrapy接收到初始URL列表后，它按照预定顺序依次调用上述各个模块协同作业直到遍历完毕目标站点上的所有链接位置。此过程中涉及到了多个内部机制相互配合以确保高效稳定地完成网络资源采集任务[^4]。

import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    def parse(self, response):
        self.log('Visited %s' % response.url)