爬取boss直聘招聘信息
时间: 2023-09-11 20:03:41 浏览: 161
使用Selenium对Boss直聘网站进行爬虫,将招聘信息存入MongoDB,并对岗位要求分词生成词云。
5星 · 资源好评率100%
好的,针对这个问题,你可以使用 Python 中的 requests 和 BeautifulSoup 库来实现。具体步骤如下:
1. 导入所需的库:
```python
import requests
from bs4 import BeautifulSoup
```
2. 构造请求头信息和查询参数:
```python
# 请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 查询参数
params = {
'query': 'Python',
'city': '北京',
'page': '1'
}
```
3. 发起请求并解析响应:
```python
# 发起请求
response = requests.get('https://www.zhipin.com/job_detail/', headers=headers, params=params)
# 解析响应
soup = BeautifulSoup(response.text, 'html.parser')
```
4. 提取招聘信息:
```python
# 找到所有职位信息的标签
job_list = soup.find_all('div', class_='job-list')
# 遍历所有职位信息
for job in job_list:
# 提取职位名称
job_name = job.find('div', class_='job-title').text.strip()
# 提取公司名称
company_name = job.find('div', class_='company-text').a.text.strip()
# 提取薪资
salary = job.find('span', class_='red').text.strip()
# 提取职位描述
job_desc = job.find('div', class_='job-desc').text.strip()
# 输出结果
print('职位名称:', job_name)
print('公司名称:', company_name)
print('薪资:', salary)
print('职位描述:', job_desc)
print('--------------------------------------')
```
以上就是爬取 boss 直聘招聘信息的基本流程,你可以根据自己的需求进行相应的修改和优化。
阅读全文