python爬虫爬取智联招聘完整代码
时间: 2023-09-20 14:13:16 浏览: 176
好的,下面是一个简单的 Python 爬虫爬取智联招聘的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://sou.zhaopin.com/?p=1&jl=530&kw=python&kt=3'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
html = requests.get(url, headers=headers).text
soup = BeautifulSoup(html, 'lxml')
job_list = soup.select('.contentpile__content__wrapper')
for job in job_list:
job_name = job.select('.contentpile__content__wrapper__item__info__box__jobname__title a')[0].get_text().strip()
job_salary = job.select('.contentpile__content__wrapper__item__info__box__job__saray')[0].get_text().strip()
job_company = job.select('.contentpile__content__wrapper__item__info__box__cname__title a')[0].get_text().strip()
job_location = job.select('.contentpile__content__wrapper__item__info__box__job__demand__item')[0].get_text().strip()
print('职位名称:{}'.format(job_name))
print('薪资待遇:{}'.format(job_salary))
print('公司名称:{}'.format(job_company))
print('工作地点:{}'.format(job_location))
print('-------------------------------------')
```
这个示例代码是爬取智联招聘上关键字为 python、地区为 北京、工作年限为 3 年及以上 的职位信息,你需要根据自己的需求修改相应的 URL 参数。同时,这里使用了 requests 库和 BeautifulSoup 库来进行网页的请求和解析。
阅读全文