用python爬取智联招聘网站发布的IT行业相关工作招聘信息数据的完整代码
时间: 2024-06-09 12:11:53 浏览: 313
好的,以下是一个简单的Python爬取智联招聘网站IT行业相关工作招聘信息数据的代码:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 爬取的网页链接
url = 'https://www.zhaopin.com/citymap'
# 请求网页内容
r = requests.get(url)
# 解析网页内容
soup = BeautifulSoup(r.text, 'html.parser')
# 找到所有的城市链接
city_links = soup.find_all('a', attrs={'class': 'moreLink'})
# 遍历所有城市链接并爬取数据
data = []
for link in city_links:
city_url = link['href']
# 爬取每个城市的数据
r = requests.get(city_url)
soup = BeautifulSoup(r.text, 'html.parser')
# 找到所有职位信息
job_list = soup.find_all('div', attrs={'class': 'jobList'})
for job in job_list:
job_name = job.find('a', attrs={'class': 'zw-name'}).text.strip()
company_name = job.find('a', attrs={'class': 'company-name'}).text.strip()
salary = job.find('span', attrs={'class': 'salary'}).text.strip()
location = job.find('span', attrs={'class': 'job-area'}).text.strip()
data.append([job_name, company_name, salary, location])
# 将数据存储到CSV文件中
df = pd.DataFrame(data, columns=['职位名称', '公司名称', '薪资', '工作地点'])
df.to_csv('job_data.csv', index=False, encoding='utf-8')
```
这个代码会爬取智联招聘网站所有城市的IT行业相关工作招聘信息数据,并将数据存储到名为`job_data.csv`的CSV文件中。你可以根据自己的需要进行修改和扩展。
阅读全文