请写一个爬取Boss直聘网的python程序
时间: 2024-06-10 13:08:55 浏览: 84
以下是一个简单的Python程序,用于爬取Boss直聘网的职位信息:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhipin.com/job_detail/?query=python'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', {'class': 'job-primary'})
for job in job_list:
job_title = job.find('div', {'class': 'job-title'}).text.strip()
job_salary = job.find('span', {'class': 'red'}).text.strip()
job_company = job.find('div', {'class': 'company-text'}).a.text.strip()
job_location = job.find('div', {'class': 'job-tags'}).span.text.strip()
print(f"{job_title} | {job_salary} | {job_company} | {job_location}")
```
这个程序通过requests库向Boss直聘网发送请求,并使用BeautifulSoup库解析HTML响应。它找到了所有的职位信息,并打印出了职位标题、薪水、公司和工作地点。你可以根据自己的需求修改url和解析代码。
阅读全文