xpath 爬取boss直聘招聘信息

以下是使用Python和XPath从Boss直聘网站爬取招聘信息的示例代码：

import requests
from lxml import etree

# 设置请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 构造请求URL
url = 'https://www.zhipin.com/c101210100/h_101210100/?query=python&page=1&ka=page-1'

# 发送HTTP请求
response = requests.get(url, headers=headers)

# 解析HTML页面
html = etree.HTML(response.content)

# 使用XPath获取招聘信息
job_list = html.xpath('//div[@class="job-list"]/ul/li')

for job in job_list:
    job_name = job.xpath('.//h3/text()')[0]  # 职位名称
    company_name = job.xpath('.//div[@class="company-text"]/h3/a/text()')[0]  # 公司名称
    salary = job.xpath('.//span[@class="red"]/text()')[0]  # 薪资
    job_info = job.xpath('.//div[@class="info-primary"]/p/text()')  # 招聘信息
    job_city = job_info[0]  # 工作城市
    job_exp = job_info[1]  # 工作经验
    job_edu = job_info[2]  # 学历要求
    print(job_name, company_name, salary, job_city, job_exp, job_edu)

运行代码后，将输出爬取到的招聘信息，例如：

Python开发工程师 广州大华软件有限公司 10K-20K 广州 3-5年 本科
Python后端开发工程师 广州恒鼎信息科技有限公司 10K-15K 广州 1-3年 大专
Python开发工程师 广州泰和信息技术有限公司 10K-20K 广州 1-3年 本科
Python开发工程师 广州美鹏科技有限公司 10K-20K 广州 3-5年 本科
Python开发工程师 广州幸福分享网络科技有限公司 15K-25K 广州 3-5年 本科
... ...