python对‘智联网站’数据爬取与预处理代码
时间: 2023-09-06 22:10:40 浏览: 61
以下是Python爬取智联招聘网站数据并进行预处理的示例代码:
```python
import requests
import json
import pandas as pd
# 请求职位信息API接口
url = "https://fe-api.zhaopin.com/c/i/sou"
params = {
'pageSize': '90',
'pageNo': '1',
'kw': 'Python',
'kt': '3',
}
response = requests.get(url, params=params)
data = json.loads(response.text)
# 定义数据列表
job_data = []
# 遍历招聘信息
for job in data['data']['results']:
job_name = job['jobName'] # 职位名称
company_name = job['company']['name'] # 公司名称
location = job['city']['display'] # 工作地点
salary = job['salary'] # 薪资
# 将数据添加到列表中
job_data.append([job_name, company_name, location, salary])
# 将数据转换为DataFrame格式并进行预处理
df = pd.DataFrame(job_data, columns=['职位名称', '公司名称', '工作地点', '薪资'])
df['薪资'] = df['薪资'].apply(lambda x: x.replace('K', '').replace('以上', '').replace('以下', ''))
df['最低薪资'] = df['薪资'].apply(lambda x: x.split('-')[0])
df['最高薪资'] = df['薪资'].apply(lambda x: x.split('-')[1])
df['最低薪资'] = pd.to_numeric(df['最低薪资'])
df['最高薪资'] = pd.to_numeric(df['最高薪资'])
# 输出预处理后的数据
print(df.head())
```
该示例代码通过requests库请求智联招聘网站的API接口,获取招聘信息数据。然后将解析后的数据存储在一个列表中,最后使用pandas库将列表转换为DataFrame格式,并进行预处理,包括分离薪资的最低值和最高值,以及将薪资转换为数字类型。最后输出预处理后的数据。
相关推荐
![py](https://img-home.csdnimg.cn/images/20210720083646.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)