scrapy boss直聘 代码

以下是用Scrapy爬取Boss直聘招聘信息的示例代码：

import scrapy

class BosszpSpider(scrapy.Spider):
    name = 'bosszp'
    allowed_domains = ['www.zhipin.com']
    start_urls = ['https://www.zhipin.com/job_detail/?query=python']

    def parse(self, response):
        jobs = response.xpath('//div[@class="job-list"]/ul/li')
        for job in jobs:
            yield {
                'position': job.xpath('.//div[@class="job-title"]/text()').get(),
                'salary': job.xpath('.//span[@class="red"]/text()').get(),
                'company': job.xpath('.//div[@class="company-text"]/h3/a/text()').get(),
            }

        next_page = response.xpath('//a[@class="next"]/@href')
        if next_page:
            yield response.follow(next_page[0], self.parse)

在这个示例中，我们使用Scrapy爬取了Boss直聘上搜索“python”关键字的招聘信息。我们首先在`start_urls`中指定了我们要爬取的页面。在`parse`方法中，我们使用XPath来提取每个职位的标题、薪资和公司名称，并将结果作为字典对象`yield`出来。我们还检查是否有下一页链接，如果有，我们将继续跟进链接并重复解析。

这只是一个简单的示例，你可以根据自己的需求进行更改和扩展。