用Python爬虫对全国大学前十名数据进行爬取,并可视化展示
时间: 2024-01-18 22:03:07 浏览: 128
使用python实现爬虫获取众多大学排名
好的,这里提供一个简单的爬虫代码,使用requests和beautifulsoup库进行爬取。前十名大学数据可以在各大教育网站上找到,这里以中国教育在线为例:
```python
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 请求URL
url = 'https://www.eol.cn/html/g/gxmd/zzfs/index.shtml'
# 得到页面的内容
html = requests.get(url).text
soup = BeautifulSoup(html, 'html.parser')
# 找到大学排名的表格
table = soup.find('table', class_='ranks-table')
# 将表格中的数据存储到列表中
data = []
for tr in table.tbody.find_all('tr'):
row = []
for td in tr.find_all('td'):
row.append(td.text.strip())
data.append(row)
# 将数据转换成DataFrame格式
df = pd.DataFrame(data, columns=['排名', '学校名称', '总分', '科研', '人才', '国际化'])
# 取出前十名数据
top10 = df.head(10)
# 可视化展示
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 设置中文显示
plt.bar(top10['学校名称'], top10['总分'])
plt.title('全国大学前十名排名') # 设置标题
plt.xlabel('学校名称') # 设置x轴标签
plt.ylabel('总分') # 设置y轴标签
plt.show()
```
这段代码会爬取中国教育在线上全国大学排名前十名的数据,并将其可视化展示。需要注意的是,爬虫的代码可能会随着网站的改版而失效,需要及时调整。
阅读全文