使用python爬取51job招聘信息
时间: 2023-10-11 12:13:32 浏览: 133
以下是一个简单的使用Python爬取51job招聘信息的示例程序:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', class_='el')
for job in job_list:
job_name = job.find('a', class_='t').text.strip()
company_name = job.find('span', class_='t2').text.strip()
location = job.find('span', class_='t3').text.strip()
salary = job.find('span', class_='t4').text.strip()
job_url = job.find('a', class_='t')['href']
print(job_name, company_name, location, salary, job_url)
```
该程序使用requests库和BeautifulSoup库来获取和解析51job网站的招聘信息页面。它首先构建了目标页面的URL,并使用requests库发送HTTP请求,然后使用BeautifulSoup库解析响应的HTML内容。程序从解析后的HTML中查找招聘信息的列表,然后使用循环迭代每个招聘信息,并从每个信息中提取必要的信息,例如职位名称,公司名称,地点,薪资和招聘链接。最后,程序将提取的信息打印到控制台中。
需要注意的是,该示例程序只能爬取第一页的招聘信息。如果需要爬取更多的页面,需要修改URL中的页码参数。通过修改页码参数,可以实现爬取更多页面的招聘信息。
阅读全文