用pycharm爬取https://www.shanghairanking.cn/institution的内容并写入csv文件
时间: 2023-12-24 14:02:24 浏览: 150
好的,以下是一个简单的示例代码,您可以在PyCharm中运行它:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 发送请求并获取页面内容
url = "https://www.shanghairanking.cn/institution"
response = requests.get(url)
html = response.content
# 解析HTML内容
soup = BeautifulSoup(html, "html.parser")
table = soup.find("table", {"id": "UniversityRanking"})
tbody = table.find("tbody")
rows = tbody.find_all("tr")
# 将数据写入CSV文件
with open("universities.csv", "w", newline="") as f:
writer = csv.writer(f)
# 写入表头
writer.writerow(["排名", "学校名称", "总分"])
# 写入每行数据
for row in rows:
cols = row.find_all("td")
rank = cols[0].get_text().strip()
name = cols[1].get_text().strip()
score = cols[2].get_text().strip()
writer.writerow([rank, name, score])
```
这段代码将获取上海交通大学排名网站的内容,并将排名、学校名称和总分写入CSV文件中。请确保您已经安装了Python的requests和beautifulsoup4库以及PyCharm的csv模块。
阅读全文