python爬取招聘网
时间: 2023-10-04 21:12:06 浏览: 104
基于Python网上招聘信息的爬取和分析
要爬取招聘网站,一般的做法是使用 Python 的 requests 库或是 Scrapy 爬虫框架进行页面请求和数据抓取。以下是一个简单的示例,以爬取智联招聘网站为例:
```python
import requests
from bs4 import BeautifulSoup
# 请求页面
url = 'https://sou.zhaopin.com/?jl=530&kw=Python&kt=3'
response = requests.get(url)
# 解析页面
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('li', class_='clearfix')
# 提取数据
for job in job_list:
job_name = job.find('div', class_='jobname').a.text.strip()
company_name = job.find('div', class_='company_name').a.text.strip()
salary = job.find('div', class_='salary').text.strip()
print(job_name, company_name, salary)
```
以上代码通过 requests 库请求页面,然后使用 BeautifulSoup 库解析页面,提取出招聘信息并输出。需要注意的是,不同的招聘网站页面结构不同,需要根据实际情况进行相应的修改。
阅读全文