用python爬取招聘网站计算机类岗位信息并写入csv文件
时间: 2023-11-18 16:05:25 浏览: 49
好的,这个问题我可以回答。首先,你需要确定你想要爬取的招聘网站,然后使用Python的Requests库发送HTTP请求获取网页内容,接着使用BeautifulSoup库解析HTML文档,提取出所需的信息,最后将信息写入到CSV文件中。
以下是一个简单的爬虫示例,以爬取“智联招聘”网站计算机类岗位信息为例:
```python
import csv
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器发送请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送HTTP请求,获取网页内容
url = 'https://sou.zhaopin.com/?jl=489&kw=计算机&kt=3'
response = requests.get(url, headers=headers)
html = response.content
# 解析HTML文档,提取信息
soup = BeautifulSoup(html, 'html.parser')
job_list = soup.find_all('div', {'class': 'joblist-box'})
# 将信息写入CSV文件中
with open('job.csv', 'w', newline='', encoding='utf-8') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['职位名称', '公司名称', '工作地点', '薪资范围', '发布日期'])
for job in job_list:
job_name = job.find('a', {'class': 'zw-link'}).text.strip()
company_name = job.find('a', {'class': 'company-name'}).text.strip()
job_location = job.find('div', {'class': 'job-location'}).text.strip()
salary_range = job.find('span', {'class': 'salary'}).text.strip()
publish_date = job.find('span', {'class': 'time'}).text.strip()
writer.writerow([job_name, company_name, job_location, salary_range, publish_date])
```
以上代码会爬取智联招聘网站上关键词为“计算机”,地点为“广州”的所有职位信息,并将职位名称、公司名称、工作地点、薪资范围和发布日期写入到名为“job.csv”的CSV文件中。
当然,这只是一个简单的示例,实际爬虫的实现会更加复杂,需要考虑反爬虫机制、数据清洗等问题。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)