基于python对前程无忧的招聘信息进行数据爬取
时间: 2024-06-09 18:06:53 浏览: 113
可以使用Python中的Requests库和BeautifulSoup库来实现对前程无忧的招聘信息进行数据爬取。代码如下:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 构造请求链接
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,Python,2,1.html'
# 发送请求并获取响应数据
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup进行解析
soup = BeautifulSoup(html, 'html.parser')
# 获取招聘信息列表
job_list = soup.find_all('div', {'class': 'el'})
# 遍历招聘信息列表并输出
for job in job_list:
job_name = job.find('a', {'class': 'jobname'}).text.strip()
company_name = job.find('a', {'class': 'companyname'}).text.strip()
salary = job.find('span', {'class': 'sal'}).text.strip()
print('职位名称:', job_name)
print('公司名称:', company_name)
print('薪资范围:', salary)
print('=======================')
```
以上代码可以获取前程无忧上Python职位招聘信息的名称、公司名称和薪资范围。如果需要获取更多信息,可以通过分析HTML标签和属性来扩展代码功能。
阅读全文