使用python爬取多页51job招聘信息
时间: 2023-09-20 10:11:14 浏览: 101
以下是一个简单的Python程序,可以使用BeautifulSoup库和Requests库爬取51job的多个页面的招聘信息:
```python
import requests
from bs4 import BeautifulSoup
search_keyword = 'python' # 搜索关键字
page_num = 5 # 需要爬取的页数
for i in range(1, page_num+1):
url = f'https://search.51job.com/list/000000,000000,0000,00,9,99,{search_keyword},2,{i}.html'
# 构造url,用f-string格式化
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', {'class': 'el'})[1:] # 找到招聘信息所在的div
for job in job_list:
job_title = job.find('a')['title'] # 获取招聘信息标题
job_company = job.find('span', {'class': 't2'}).text # 获取招聘公司名称
job_location = job.find('span', {'class': 't3'}).text # 获取招聘地点
job_salary = job.find('span', {'class': 't4'}).text # 获取薪资信息
job_time = job.find('span', {'class': 't5'}).text # 获取发布时间
print(f'{job_title} | {job_company} | {job_location} | {job_salary} | {job_time}')
```
该程序会爬取搜索关键字为"python"的前五页招聘信息,输出每个招聘信息的标题、公司名称、地点、薪资和发布时间。您可以根据需要修改搜索关键字和需要爬取的页数。
阅读全文