python爬虫爬取boss直聘大数据行业的薪资和岗位并存储
时间: 2023-11-12 12:59:31 浏览: 56
以下是一个简单的python爬虫代码,用于爬取Boss直聘大数据行业的薪资和岗位,并将结果存储在CSV文件中。请注意,这只是一个示例,可能需要根据您的需求进行修改。
```python
import requests
import csv
# 设置爬取的url和headers
url = 'https://www.zhipin.com/job_detail/?query=%E5%A4%A7%E6%95%B0%E6%8D%AE&city=101010100&industry=&position='
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求并获取响应
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
# 解析响应并提取数据
jobs = response.json()['data']['jobs']
rows = []
for job in jobs:
row = [job['jobName'], job['salary'], job['company']['name']]
rows.append(row)
# 将数据存储到CSV文件中
with open('boss_data.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['岗位', '薪资', '公司'])
writer.writerows(rows)
```
在这个例子中,我们首先设置了要爬取的URL和headers,然后发送请求并获取响应。接下来,我们从响应中提取数据,并将其存储在一个列表中。最后,我们使用Python的CSV模块将数据写入CSV文件中。在这个例子中,我们将岗位名称、薪资和公司名称作为数据存储在CSV文件中。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)