python实现爬取前程无忧51job职位信息
时间: 2023-07-12 11:54:43 浏览: 172
以下是 Python 实现爬取前程无忧 51job 职位信息的代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的 URL
url = "https://search.51job.com/list/000000,000000,0000,00,9,99,Python,2,{}.html"
# 定义要爬取的页数
pages = 2
# 循环爬取每一页的数据
for page in range(1, pages+1):
# 发送请求并获取响应内容
res = requests.get(url.format(page))
soup = BeautifulSoup(res.text, 'html.parser')
# 解析页面中的职位信息
job_list = soup.select('.el')
# 遍历每一个职位信息并输出
for job in job_list:
# 获取职位名称、公司名称、地点、薪资和发布时间等信息
job_name = job.select('.t1')[0].text.strip()
company_name = job.select('.t2')[0].text.strip()
location = job.select('.t3')[0].text.strip()
salary = job.select('.t4')[0].text.strip()
publish_time = job.select('.t5')[0].text.strip()
# 输出职位信息
print(job_name, company_name, location, salary, publish_time)
```
在上述代码中,我们首先定义了要爬取的 URL 和要爬取的页数。然后,我们使用 requests 库向指定 URL 发送请求,并使用 BeautifulSoup 库解析响应内容。接着,我们使用 css 选择器获取页面中的职位信息,并遍历每一个职位信息并输出。最后,我们输出职位名称、公司名称、地点、薪资和发布时间等信息。
阅读全文