如何在pycharm中利用爬虫爬取智联招聘网站的广州地区的数据分析师信息,并保存成csv文件
时间: 2024-02-13 22:00:16 浏览: 31
首先,需要安装相应的库,包括 requests、BeautifulSoup 和 pandas。可以在 PyCharm 中打开终端,使用以下命令安装:
```
pip install requests
pip install beautifulsoup4
pip install pandas
```
接下来,可以使用以下代码进行爬取和保存数据:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://sou.zhaopin.com/?jl=广州&kw=数据分析师&kt=3'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, 'html.parser')
job_list = soup.find_all('div', class_='joblist-box__item clearfix')
job_info = []
for job in job_list:
job_name = job.find('div', class_='jobname').text.strip()
company = job.find('div', class_='company').text.strip()
salary = job.find('div', class_='salary').text.strip()
job_info.append([job_name, company, salary])
df = pd.DataFrame(job_info, columns=['职位名称', '公司名称', '薪资'])
df.to_csv('job_info.csv', index=False)
```
以上代码将会爬取智联招聘网站的广州地区的数据分析师信息,并将结果保存成 CSV 文件(文件名为 job_info.csv)。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)