python爬虫爬取BOSS直聘网站上与大数据相关的职位信息，包括岗位和薪资

以下是一个简单的Python爬虫示例，用于爬取BOSS直聘网站上与大数据相关的职位信息，包括岗位和薪资：

import requests
from bs4 import BeautifulSoup

url = 'https://www.zhipin.com/c101010100/h_101010000/?query=大数据'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

job_list = soup.find_all('div', class_='job-primary')

for job in job_list:
    job_name = job.find('div', class_='job-title').text.strip()
    salary = job.find('span', class_='red').text.strip()
    print(job_name, salary)

这个爬虫首先发送一个GET请求到BOSS直聘网站的搜索页面，查询关键词为“大数据”的职位信息。然后，使用BeautifulSoup解析HTML响应，找到所有包含职位信息的div元素，并从中提取出岗位和薪资信息。最后，将这些信息打印出来。

注意，这只是一个简单的示例，实际的爬虫可能需要更多的代码来处理分页、存储数据等问题。此外，还需要遵守网站的robots.txt文件，以确保爬虫不会对网站造成过多的负担。