关于爬取boss直聘的招聘信息的代码
时间: 2023-09-10 14:15:23 浏览: 316
boss直聘爬取代码(有问题联系作者)
好的,以下是一个爬取boss直聘招聘信息的Python代码,您可以参考一下:
```python
import requests
import json
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
def get_job(keyword, page):
url = 'https://www.zhipin.com/job_detail/?query={}&page={}&ka=page-{}'.format(keyword, page, page)
# 获取HTML页面
html = requests.get(url, headers=headers).text
# 获取JSON数据
json_part = html.split('<script type="text/javascript">window.__INITIAL_STATE__=')[1].split('</script><script type="text/javascript"')[0].strip()[:-1]
data = json.loads(json_part)
job_list = data['jobList']
for job in job_list:
info = {
'name': job['jobName'],
'salary': job['salary'],
'city': job['city']['name'],
'exp': job['workingExp']['name'],
'edu': job['eduLevel']['name'],
'company': job['company']['name'],
'industry': job['company']['industryName'],
'type': job['emplType'],
'time': job['updateDate'],
'detail_url': 'https://www.zhipin.com/job_detail/' + job['source']['positionId'] + '.html'
}
print(info)
if __name__ == '__main__':
get_job('Python', 1)
```
这段代码可以获取boss直聘上Python职位的信息,并输出到控制台中。您可以根据自己的需求修改代码。但需要提醒的是,请勿过度频繁地爬取网页,以免被网站封禁IP。
阅读全文