头歌Scrapy爬虫（二）热门网站数据爬取

Scrapy是一个强大的Python网络爬虫框架，它专门用于高效地抓取网页数据。如果你想爬取热门网站的数据，Scrapy可以帮助你自动化这个过程。以下是基本步骤：

1. **安装Scrapy**：
首先确保你已经安装了Python，然后通过pip安装Scrapy：

   pip install scrapy

2. **创建项目**：
使用Scrapy命令行工具创建一个新的爬虫项目：

   scrapy startproject my_hot_sites

进入项目目录。

3. **定义爬虫**：
在`my_hot_sites/spiders`文件夹下，创建一个新的spider文件（例如hot_sites_spider.py），并定义你要爬取的URL列表、解析规则等。例如：

   import scrapy

   class HotSitesSpider(scrapy.Spider):
       name = 'hot_sites'
       start_urls = ['http://example.com/hot', 'http://example2.com/top']

       def parse(self, response):
           # 解析HTML，提取你需要的信息（如标题、链接等）
           title = response.css('h1::text').get()
           links = response.css('a::attr(href)').getall()

           yield {
               'title': title,
               'links': links,
           }

4. **设置下载延迟**：
热门网站可能会有反爬策略，可以设置下载延迟能避免频繁请求导致封禁：

   from scrapy.downloadermiddlewares import DownloadDelayMiddleware
   ...
   def __init__(self):
       ...
       selfDELAY_MIDDLEWARES = {
           'scrapy.downloadermiddlewares.download_delay.DownloadDelayMiddleware': 700,
       }

5. **运行爬虫**：

   scrapy crawl hot_sites

这将开始爬取，并保存结果到项目指定的输出文件（默认是items.json）。