从BOSS直聘网站上采集有关python开发相关的工作岗位的招聘信息并保存到execll表格上
时间: 2024-06-08 15:07:12 浏览: 111
好的,这里提供一个简单的Python程序实现:
首先,需要安装相关的第三方库:requests、BeautifulSoup、pandas。
```python
pip install requests
pip install beautifulsoup4
pip install pandas
```
然后,编写代码如下:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://www.zhipin.com/job_detail/?query=python&city=100010000&industry=&position=' # 目标网址
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}
data = [] # 保存数据
# 获取网页内容
def get_content(url):
try:
response = requests.get(url, headers=headers)
response.encoding = 'utf-8'
return response.text
except Exception as e:
print(e)
# 解析网页内容
def parse_content(html):
soup = BeautifulSoup(html, 'html.parser')
job_list = soup.find('div', {'class': 'job-list'}).find_all('div', {'class': 'job-primary'})
for job in job_list:
title = job.find('div', {'class': 'job-title'}).text.strip() # 职位名称
salary = job.find('span', {'class': 'red'}).text.strip() # 薪资
company = job.find('div', {'class': 'company-text'}).find('a').text.strip() # 公司名称
location = job.find('div', {'class': 'info-primary'}).find('p').text.strip() # 工作地点
data.append({'职位名称': title, '薪资': salary, '公司名称': company, '工作地点': location})
# 将数据保存到 Excel 表格
def save_to_excel(data):
df = pd.DataFrame(data)
df.to_excel('python_jobs.xlsx', index=False)
if __name__ == '__main__':
for i in range(1, 11):
url_page = url + '&page=' + str(i)
html = get_content(url_page)
parse_content(html)
save_to_excel(data)
print('数据已保存到 python_jobs.xlsx 文件!')
```
以上代码可以爬取BOSS直聘网站上关于Python开发的前10页招聘信息,将其保存到名为`python_jobs.xlsx`的Excel表格中。运行代码后,可以在Python脚本所在目录下找到生成的Excel表格文件。
需要注意的是,由于本代码仅供学习使用,请勿将其用于商业用途。
阅读全文