生成一个爬取51job上含python职位信息的python爬虫代码带中文注释
时间: 2023-06-20 07:09:49 浏览: 105
基于Python的51job数分岗位招聘信息爬取分析设计源码
5星 · 资源好评率100%
以下是一个简单的爬取 51job 上含有 Python 职位信息的 Python 爬虫代码,带有中文注释:
```python
import requests
from bs4 import BeautifulSoup
# 定义爬虫函数
def get_jobs(keyword, city):
# 定义请求 URL,将关键词和城市参数拼接到 URL 上
url = f'https://search.51job.com/list/{city},000000,0000,00,9,99,{keyword},2,1.html'
# 发起 GET 请求
response = requests.get(url)
# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 找到包含职位信息的标签
job_list = soup.find_all('div', {'class': 'el'})
# 遍历标签列表,提取职位信息并打印
for job in job_list:
# 提取职位名称
job_name = job.find('a', {'class': 'jobname'}).text.strip()
# 提取公司名称
company_name = job.find('a', {'class': 'comname'}).text.strip()
# 提取工作地点
location = job.find('span', {'class': 't3'}).text.strip()
# 提取薪资
salary = job.find('span', {'class': 't4'}).text.strip()
# 打印职位信息
print(f'职位名称:{job_name}\n公司名称:{company_name}\n工作地点:{location}\n薪资:{salary}\n\n')
# 测试爬虫函数
get_jobs('python', '北京')
```
该爬虫函数通过调用 requests 库发送 GET 请求,使用 Beautiful Soup 进行 HTML 解析,并提取出包含职位信息的标签。然后遍历标签列表,提取出职位名称、公司名称、工作地点和薪资等信息并打印。
阅读全文