python爬取boss直聘招聘信息100条,每条包含:公司名称、学历要求、工作类型、工作名称、薪资、城市名称、公司规模、岗位职责、工作经验等信息
时间: 2023-09-13 11:04:02 浏览: 112
好的,这是一个比较复杂的任务,需要用到Python的爬虫技术。以下是一个简单的爬虫示例代码,可以帮助您实现这个功能。请注意,这个代码只是一个示例,您需要根据您的具体需求进行修改。
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhipin.com/c101280600/?query=python&page=1&ka=page-1'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.select('.job-list ul li')
for job in job_list:
company_name = job.select('.company-text h3')[0].text.strip()
education = job.select('.job-desc .job-qualifications span')[0].text.strip()
job_type = job.select('.job-desc .job-tags span')[0].text.strip()
job_name = job.select('.company-text h2')[0].text.strip()
salary = job.select('.job-desc .job-primary .salary')[0].text.strip()
city = job.select('.job-desc .job-primary .info-primary p')[0].text.strip()
company_size = job.select('.job-desc .job-comp p')[0].text.strip()
responsibilities = job.select('.job-desc .job-detail')[0].text.strip()
experience = job.select('.job-desc .job-qualifications span')[1].text.strip()
print('公司名称:', company_name)
print('学历要求:', education)
print('工作类型:', job_type)
print('工作名称:', job_name)
print('薪资:', salary)
print('城市名称:', city)
print('公司规模:', company_size)
print('岗位职责:', responsibilities)
print('工作经验:', experience)
```
这个代码使用了requests和BeautifulSoup库来获取和解析网页数据。您需要将url参数修改为您要爬取的网址,然后在for循环中提取所需的数据。最后,将数据打印出来或保存到文件中即可。
阅读全文