做一个Boss直聘的爬虫
时间: 2024-04-23 19:14:57 浏览: 48
爬虫-基于python的Boss直聘网站的数据爬取
好的,下面是一个简单的Boss直聘爬虫的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.zhipin.com/c101280600/?query=python&page=1'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
def get_job_list(url):
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
jobs = soup.select('div.job-primary')
job_list = []
for job in jobs:
job_title = job.select_one('div.job-title').text.strip()
company_name = job.select_one('div.company-text > h3 > a').text.strip()
job_salary = job.select_one('span.red').text.strip()
job_info = job.select_one('div.info-primary > p').text.strip()
job_list.append((job_title, company_name, job_salary, job_info))
return job_list
if __name__ == '__main__':
url = 'https://www.zhipin.com/c101280600/?query=python&page=1'
job_list = get_job_list(url)
print(job_list)
```
这个爬虫会爬取Boss直聘上所有关于Python的岗位信息,包括职位名称、公司名称、薪资和工作要求。你可以根据自己的需求对代码进行修改,例如更改爬取的页面、关键字等。但请注意,爬虫的使用需要遵守法律法规和网站的使用条款。
阅读全文