用python爬取boss直聘中有关程序员职位信息
时间: 2023-09-10 12:15:22 浏览: 125
好的,您可以使用Python中的requests和BeautifulSoup库来爬取boss直聘中的职位信息。以下是一个简单的爬虫代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhipin.com/job_detail/?query=程序员&city=101010100&industry=&position='
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find('div', {'class': 'job-list'})
for job in job_list.find_all('div', {'class': 'job-primary'}):
job_name = job.find('div', {'class': 'job-title'}).text.strip()
company_name = job.find('div', {'class': 'company-text'}).find('h3').text.strip()
salary = job.find('span', {'class': 'red'}).text.strip()
print(job_name, company_name, salary)
```
这个示例代码中,我们首先用requests库的get方法请求boss直聘的网页,并使用BeautifulSoup库将网页的HTML代码解析成可操作的对象soup。
接着,我们使用soup对象的find方法找到职位信息所在的div元素,再用find_all方法找到所有的职位信息元素。
对于每一个职位信息元素,我们再使用find方法分别找到职位名称、公司名称、薪资等信息,并将其打印出来。
需要注意的是,我们在请求网页时加上了一个headers参数,用来模拟浏览器发送的请求,避免被网站识别为爬虫并被禁止访问。
阅读全文