python爬取boss直聘岗位信息
时间: 2023-06-14 18:08:15 浏览: 182
好的,可以使用Python中的requests和BeautifulSoup库来实现爬取boss直聘岗位信息。
首先需要安装这两个库,可以使用以下命令:
```
pip install requests
pip install beautifulsoup4
```
然后,我们可以使用requests库发送请求获取网页内容,再使用BeautifulSoup库解析网页内容并提取需要的信息。
以下是一个简单的示例代码,用于爬取boss直聘上某个城市、某个职位的前10页岗位信息:
```python
import requests
from bs4 import BeautifulSoup
city = '武汉'
job = 'Python'
for page in range(1, 11):
url = f'https://www.zhipin.com/c{city}/?query={job}&page={page}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.select('.job-list ul li')
for job in job_list:
job_name = job.select_one('.job-name').text.strip()
company_name = job.select_one('.company-text .name').text.strip()
salary = job.select_one('.job-primary .salary').text.strip()
print(job_name, company_name, salary)
```
请注意,上述代码只是示例,如果需要使用爬虫获取网页内容,请务必遵守相关法律法规,不要进行非法的爬取和使用。
阅读全文