爬取boss直聘网招聘数据代码
时间: 2024-06-16 10:03:31 浏览: 189
当然,我可以给你一个简单的示例代码来介绍如何爬取Boss直聘网的招聘数据。请注意,爬取网站数据需要遵守相关法律法规和网站的使用条款,确保合法合规。
以下是一个使用Python的示例代码,使用了第三方库requests和BeautifulSoup来实现爬取:
```python
import requests
from bs4 import BeautifulSoup
def get_job_list():
url = 'https://www.zhipin.com/c101010100/?query=python&page=1&ka=page-1'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', class_='job-primary')
for job in job_list:
job_title = job.find('div', class_='job-title').text.strip()
company_name = job.find('div', class_='company-text').find('a').text.strip()
salary = job.find('span', class_='red').text.strip()
print(f'职位:{job_title},公司:{company_name},薪资:{salary}')
get_job_list()
```
这段代码会爬取Boss直聘网上关于Python岗位的招聘信息,并打印出职位名称、公司名称和薪资信息。
请注意,这只是一个简单的示例代码,实际爬取网站数据可能需要处理更多的细节,比如翻页、处理反爬机制等。同时,爬取网站数据需要遵守相关法律法规和网站的使用条款,确保合法合规。
阅读全文