用python爬取招聘网站计算机类岗位信息并写入csv文件
时间: 2023-11-18 08:05:25 浏览: 33
好的,下面是一个简单的示例代码,可以爬取智联招聘网站上的计算机类岗位信息,并将数据写入CSV文件中:
```python
import requests
import csv
from bs4 import BeautifulSoup
# 设置请求头部,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置请求参数,包括关键字、地区、工作经验等
params = {
'jl': '全国',
'kw': '计算机',
'p': '1',
'isadv': '0',
'isfilter': '1',
}
# 发送请求,获取响应内容
response = requests.get('https://fe-api.zhaopin.com/c/i/sou', headers=headers, params=params)
data = response.json()['data']['results']
# 打开CSV文件,写入表头
with open('job_info.csv', 'w', encoding='utf-8-sig', newline='') as f:
writer = csv.writer(f)
writer.writerow(['职位名称', '公司名称', '薪资', '工作地点', '工作经验', '学历要求'])
# 遍历获取到的数据,写入CSV文件
for item in data:
writer.writerow([item['jobName'], item['company']['name'], item['salary'], item['city']['display'], item['workingExp']['name'], item['eduLevel']['name']])
```
这个示例代码使用了requests库发送请求,BeautifulSoup库解析HTML页面,csv库写入CSV文件。你可以根据自己的需求修改参数和解析方式。同时需要注意的是,该示例只是一个简单的爬虫,需要考虑反爬虫策略、数据去重和清洗等问题,具体实现时需要更加细致和严谨。