写一个爬取拉勾大数据岗位信息的爬虫
时间: 2024-02-26 15:56:00 浏览: 66
好的,以下是一个简单的爬取拉勾大数据岗位信息的爬虫代码:
```python
import requests
import json
# 设置请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置请求参数,可以自行更改
data = {
'first': 'true',
'pn': 1,
'kd': '大数据'
}
# 发送请求并获取响应内容
response = requests.post('https://www.lagou.com/jobs/positionAjax.json', headers=headers, data=data)
content = response.content.decode('utf-8')
# 解析json格式的响应内容
result = json.loads(content)
# 打印岗位信息
for job in result['content']['positionResult']['result']:
print('职位名称: ', job['positionName'])
print('公司名称: ', job['companyFullName'])
print('工作地点: ', job['city'])
print('薪资范围: ', job['salary'])
print('发布时间: ', job['createTime'])
print('------------------------------------')
```
以上代码只是一个简单的示例,可以根据自己的需求进行更改和优化。需要注意的是,爬取网站信息时需要遵守相关法律法规和网站的规定,避免对网站造成影响。
阅读全文