用python写一个爬取boss直聘的代码
时间: 2023-12-17 17:48:38 浏览: 67
以下是一个简单的使用Python爬取Boss直聘的代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 定义要爬取的页面URL
url = 'https://www.zhipin.com/job_detail/?query=python&city=101010100&industry=&position='
# 发送请求,获取响应
response = requests.get(url, headers=headers)
html = response.text
# 解析HTML,获取数据
soup = BeautifulSoup(html, 'html.parser')
job_list = soup.find_all('div', {'class': 'job-primary'})
for job in job_list:
job_name = job.find('div', {'class': 'job-title'}).text.strip()
job_salary = job.find('span', {'class': 'red'}).text.strip()
job_company = job.find('div', {'class': 'company-text'}).a.text.strip()
job_address = job.find('div', {'class': 'job-tags'}).span.text.strip()
print(job_name, job_salary, job_company, job_address)
```
这个代码使用了Python的requests和BeautifulSoup库来发送HTTP请求并解析HTML。我们首先定义了请求头,然后发送GET请求获取HTML响应。接着,使用BeautifulSoup解析HTML,并找到所有的职位信息。最后,我们遍历所有的职位信息,并提取职位名称、薪资、公司名称和工作地点,然后打印输出。
阅读全文