用python爬取boss直聘的招聘信息
时间: 2023-10-11 15:14:25 浏览: 87
你可以使用Python中的Requests和BeautifulSoup库来爬取Boss直聘的招聘信息。
首先,你需要打开Boss直聘的网站并搜索你感兴趣的职位。然后,你需要观察网页源代码,找到包含招聘信息的HTML元素。
下面是一个简单的代码示例,演示如何使用Python爬取Boss直聘的招聘信息:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 搜索职位
job = 'Python爬虫'
url = "https://www.zhipin.com/job_detail/?query=" + job + "&industry=&position="
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
# 解析招聘信息
job_list = soup.find_all('div', {'class': 'job-primary'})
for job in job_list:
job_name = job.find('div', {'class': 'job-title'}).text
company_name = job.find('div', {'class': 'company-text'}).a.text
salary = job.find('span', {'class': 'red'}).text
print(job_name, company_name, salary)
```
在代码中,我们首先设置了请求头部信息,然后通过requests库向Boss直聘发送GET请求,并将响应解析为BeautifulSoup对象。接着,我们使用find_all()方法找到所有包含招聘信息的HTML元素,并从中提取出职位名称、公司名称和薪资等信息。最后,我们将爬取到的招聘信息进行输出。
注意:爬取网站时需要遵守网站的爬虫协议,防止被封IP。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)