爬取智联招聘网站的信息代码
时间: 2023-10-03 12:04:35 浏览: 96
以下是使用 Python 和 BeautifulSoup 库爬取智联招聘网站信息的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 构造请求URL
url = 'https://www.zhaopin.com/citymap'
# 发送请求
response = requests.get(url, headers=headers)
# 解析内容
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有城市列表
city_list = soup.find_all('div', {'class': 'job-list'})
for city in city_list:
city_name = city.find('h2').text
print(city_name)
# 获取每个城市的职位列表
job_list = city.find_all('a', {'class': 'jobname'})
for job in job_list:
job_name = job.text
job_url = job['href']
print(job_name, job_url)
```
该示例代码会输出智联招聘网站所有城市的职位列表。你可以根据自己的需求进行修改和扩展。需要注意的是,爬取网站信息需要遵守相关法律法规,不得用于商业用途。
阅读全文