python爬boss直聘
时间: 2023-11-09 19:03:17 浏览: 47
好的,针对您的问题,爬取boss直聘可以使用Python中的requests和BeautifulSoup库来实现。具体步骤如下:
1. 使用requests库发送HTTP请求,获取boss直聘网站的HTML源代码。
2. 使用BeautifulSoup库解析HTML源代码,提取出需要的信息。
3. 将提取出来的信息保存到本地文件或者数据库中。
以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhipin.com/c101280100/?query=python&page=1'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
job_list = soup.find_all('div', class_='job-primary')
for job in job_list:
job_name = job.find('div', class_='job-title').text.strip()
salary = job.find('span', class_='red').text.strip()
company_name = job.find('div', class_='company-text').a.text.strip()
print(job_name, salary, company_name)
```