python爬取BOOS直聘招聘python的信息
时间: 2023-08-07 07:11:26 浏览: 107
Python爬取豆瓣视频信息代码实例
您好!要爬取BOSS直聘招聘Python的信息,可以使用Python语言编写爬虫程序,以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的关键字和页面数量
keyword = 'python'
pages = 5
# 循环爬取每一页的数据
for i in range(1, pages + 1):
url = f'https://www.zhipin.com/c101280100/h_101280100/?query={keyword}&page={i}'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36'}
response = requests.get(url, headers=headers)
# 解析HTML页面
soup = BeautifulSoup(response.content, 'html.parser')
job_list = soup.find_all('div', class_='job-primary')
# 循环处理每一个招聘信息
for job in job_list:
job_name = job.find('div', class_='job-title').text.strip()
company_name = job.find('div', class_='company-text').a.text.strip()
salary = job.find('span', class_='red').text.strip()
job_detail = job.find('div', class_='job-detail').text.strip()
# 打印招聘信息
print(job_name, company_name, salary, job_detail)
```
在程序中,我们通过循环爬取每一页的数据,然后使用BeautifulSoup库解析HTML页面,找到包含招聘信息的标签,最后将每个招聘信息的标题、公司名称、薪资和详细描述打印出来。注意,为了避免被网站反爬虫机制封禁,我们在请求头中添加了User-Agent头部,模拟一个浏览器访问。
阅读全文