构建爬虫框架：用Scrapy框架定向爬取QQ音乐歌手名字

# 1. 介绍爬虫框架和Scrapy框架

在本章中，我们将会介绍爬虫框架的概念以及重要性，并深入了解Scrapy框架的概述和选择Scrapy框架的理由。让我们一起来探索！

# 2. 准备工作

在开始构建爬虫框架之前，我们需要进行一些准备工作，包括安装Scrapy框架、创建Scrapy项目以及设置爬取目标为QQ音乐歌手名字。让我们一步步来完成这些准备工作。

### 2.1 安装Scrapy框架

首先，你需要确保已经安装了Python。然后，使用以下命令来安装Scrapy框架：

pip install Scrapy

### 2.2 创建Scrapy项目

创建一个新的Scrapy项目非常简单，只需在命令行中运行以下命令：

scrapy startproject qq_music_spider

这将在当前目录下创建一个名为"qq_music_spider"的Scrapy项目。

### 2.3 设置爬取目标为QQ音乐歌手名字

在Scrapy项目中，打开`qq_music_spider/spiders`目录，编辑`qq_music_spider/spiders/qq_music_spider.py`文件，在`start_urls`变量中设置爬取目标为QQ音乐歌手名字的页面链接，例如：

start_urls = ['https://y.qq.com/portal/singer_list.html']

现在，我们已经完成了准备工作，接下来我们将开始编写爬虫代码，来实现我们的爬虫逻辑。

# 3. 编写爬虫代码

在这一章中，我们将详细讲解如何编写爬虫代码来实现对QQ音乐歌手名字的爬取。

#### 3.1 定义爬虫类

首先，我们需要定义一个爬虫类，用于处理爬取逻辑。以下是一个Python版本的示例代码：

import scrapy

class QQMusicSpider(scrapy.Spider):
    name = 'qqmusic'
    def start_requests(self):
        # 开始请求的URL列表
        urls = ['http://music.qq.com/']
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
    def parse(self, response):
        # 解析response，提取歌手名字
        singers = response.css('.singer-name::text').extract()
        for singer in singers:
            yield {
                'singer_name': singer
            }

#### 3.2 编写爬取逻辑

接着，我们需要编写实际的爬取逻辑，即如何从网页中提取我们需要的信息。继续使用Python编写：

# settings.py

BOT_NAME = 'qqmusic_spider'

SPIDER_MODULES = ['qqmusic_spider.spiders']
NEWSPIDER_MODULE = 'qqmusic_spider.spiders'

# 下载中间件设置
DOWNLOADER_MIDDLEWARES = {
    'scrap