python爬虫fetch

在Python爬虫中，fetch是一个常用的命令，用于获取网页内容。下面是一个使用fetch命令的示例：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://www.example.com']

    def parse(self, response):
        # 使用fetch命令获取网页内容
        yield scrapy.Request(url='http://www.example.com/page2', callback=self.parse_page2)

    def parse_page2(self, response):
        # 处理第二个页面的内容
        pass

在上面的示例中，我们定义了一个名为MySpider的爬虫类，start_urls中包含了要爬取的网页链接。在parse方法中，我们使用fetch命令获取了第二个页面的内容，并通过回调函数parse_page2处理该页面的内容。

请注意，fetch命令是通过创建一个新的Request对象来实现的，其中包含了要获取的网页链接和回调函数。通过yield关键字将Request对象返回，Scrapy会自动发送请求并将响应传递给回调函数进行处理。