python爬虫使用beautifulsoup库爬取www.shanghairanking.cn网站中 大学名字 分数排名
时间: 2023-12-25 21:06:53 浏览: 81
【python爬虫】Python图片爬虫爬取Lofter图片.zip
好的,以下是使用BeautifulSoup库爬取www.shanghairanking.cn网站中大学名字分数排名的Python代码示例:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://www.shanghairanking.cn/rankings/bcur/2021'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
table = soup.find_all('table', class_='rk-table')[0]
tbody = table.find_all('tbody')[0]
rows = tbody.find_all('tr')
for row in rows:
cols = row.find_all('td')
name = cols[1].text.strip()
score = cols[2].text.strip()
print(name, score)
```
这段代码首先使用requests库发送HTTP GET请求获取网页内容,然后使用BeautifulSoup库解析网页内容。接着,我们找到网页中的表格元素,并遍历表格中的每一行,提取每行中的大学名字和分数排名,并打印输出。注意,这里使用的是2021年的排名数据,如果需要获取其他年份的排名数据,只需要修改url即可。
阅读全文