用pycharm爬取https://www.shanghairanking.cn/institution校名、地区、管理部门、类别、双一流的内容并写入csv文件的代码
时间: 2024-04-04 11:34:35 浏览: 120
python获取招聘网站岗位信息并写入CSV文件源代码
以下是使用Python 3和BeautifulSoup库爬取https://www.shanghairanking.cn/institution网站的校名、地区、管理部门、类别、双一流的信息并将其写入CSV文件的代码。
```
import requests
from bs4 import BeautifulSoup
import csv
# 网站的URL
url = "https://www.shanghairanking.cn/institution"
# 发送GET请求
response = requests.get(url)
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.content, 'html.parser')
# 获取所有学校的信息
schools = soup.find_all('tr', class_='bgfd')
# 创建CSV文件并写入表头
with open('shanghai_rankings.csv', mode='w', newline='') as file:
writer = csv.writer(file)
writer.writerow(['校名', '地区', '管理部门', '类别', '双一流'])
# 遍历每个学校并写入CSV文件
for school in schools:
name = school.find('td', class_='left').text.strip()
region = school.find('td', class_='region').text.strip()
department = school.find('td', class_='department').text.strip()
category = school.find('td', class_='category').text.strip()
double_first_class = school.find('td', class_='dual-class').text.strip()
writer.writerow([name, region, department, category, double_first_class])
print('数据已成功写入CSV文件!')
```
这段代码将会爬取学校名单并将其写入名为`shanghai_rankings.csv`的CSV文件。请注意,这个代码只是一个简单的示例,你可能需要做一些修改以适应你的具体情况。
阅读全文