python爬取boss直聘代码
时间: 2023-10-02 17:07:26 浏览: 85
python网络爬虫爬取Boss直聘代码
您可以使用以下代码来爬取BOSS直聘网站的数据:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
# 发起请求
url = 'https://www.zhipin.com/c100010000-p100101/'
response = requests.get(url, headers=headers)
# 解析网页内容
soup = BeautifulSoup(response.text, 'html.parser')
# 获取职位信息
jobs = soup.find_all('div', class_='job-primary')
# 遍历职位信息并输出
for job in jobs:
job_title = job.find('div', class_='job-title').text.strip()
job_salary = job.find('span', class_='red').text.strip()
job_company = job.find('div', class_='company-text').h3.a.text.strip()
print(f"职位:{job_title},薪资:{job_salary},公司:{job_company}")
```
这段代码使用了requests库发送HTTP请求,通过BeautifulSoup库对HTML进行解析,并使用CSS选择器获取到职位、薪资和公司信息。您可以根据自己的需求进一步处理这些信息,比如保存到文件或数据库中。
请确保您已经安装了requests和BeautifulSoup库,您可以使用以下命令进行安装:
```
pip install requests
pip install beautifulsoup4
```
阅读全文