使用scarpy爬取百度网页并将爬取数据显示

首先，需要安装Scrapy和相关依赖。可以使用以下命令安装：

pip install scrapy

接下来，我们创建一个Scrapy项目，打开命令行，进入到想要创建项目的目录下，输入以下命令：

scrapy startproject baidu_spider

这将创建一个名为“baidu_spider”的Scrapy项目。接下来，我们需要定义要爬取的数据和如何爬取。

在baidu_spider目录下，找到名为“items.py”的文件，打开它并添加以下代码：

import scrapy

class BaiduSpiderItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()

这将定义一个名为BaiduSpiderItem的类，它有两个字段：title和link，分别代表百度搜索结果中的标题和链接。

接下来，我们需要定义如何从百度搜索结果页面中提取数据。在baidu_spider目录下，找到名为“spiders”的目录，并在其中创建一个名为“baidu_spider.py”的文件。打开该文件并添加以下代码：

import scrapy
from ..items import BaiduSpiderItem

class BaiduSpider(scrapy.Spider):
    name = 'baidu'
    allowed_domains = ['www.baidu.com']
    start_urls = ['https://www.baidu.com/s?wd=scrapy']

    def parse(self, response):
        for result in response.css('div.result'):
            item = BaiduSpiderItem()
            item['title'] = result.css('h3 a::text').get()
            item['link'] = result.css('h3 a::attr(href)').get()
            yield item

这个Spider定义了三个属性：name、allowed_domains和start_urls。name是Spider的名称，allowed_domains指定允许爬取的域名，start_urls指定要爬取的起始URL。

在parse方法中，我们使用CSS选择器从页面中提取标题和链接，并使用BaiduSpiderItem类创建一个item对象。最后，使用yield语句将item对象返回，Scrapy会自动将其存储到数据库或输出到控制台。

最后，我们需要运行Scrapy Spider并查看结果。在命令行中，进入到baidu_spider目录下，输入以下命令：

scrapy crawl baidu

这将启动名为“baidu”的Spider并开始爬取数据。当爬取完成后，Scrapy会将结果输出到控制台。