用python爬取Boss直聘 python工程师北京地区的相关数据,并保存为csv文件
时间: 2024-06-08 12:07:21 浏览: 96
python 借助numpy保存数据为csv格式的实现方法
5星 · 资源好评率100%
好的,您可以使用Python中的requests和BeautifulSoup库来进行网页爬取和数据解析,使用csv库来保存数据为csv文件。以下是示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 定义要爬取的URL
url = 'https://www.zhipin.com/job_detail/?query=python&city=101010100&industry=&position='
# 发送get请求,获取响应
response = requests.get(url, headers=headers)
# 使用BeautifulSoup解析响应内容
soup = BeautifulSoup(response.content, 'html.parser')
# 找到包含所有职位信息的标签
jobs = soup.find_all('div', class_='job-primary')
# 初始化存储数据的列表
data = []
# 遍历所有职位信息标签,提取关键信息
for job in jobs:
job_name = job.find('div', class_='job-title').text.strip()
salary = job.find('span', class_='red').text.strip()
company_name = job.find('div', class_='company-text').find('h3').text.strip()
company_info = job.find('div', class_='company-text').find_all('p')[0].text.strip()
job_info = job.find('div', class_='info-primary').find_all('p')[0].text.strip()
# 将提取的信息存储到列表中
data.append([job_name, salary, company_name, company_info, job_info])
# 将数据保存为csv文件
with open('boss_zhipin_jobs.csv', 'w', encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerow(['职位名称', '薪资', '公司名称', '公司信息', '职位信息'])
writer.writerows(data)
print('数据已保存为boss_zhipin_jobs.csv文件')
```
注:需要安装相应的库,使用pip install requests、pip install beautifulsoup4、pip install csv命令安装。
阅读全文