python简单爬虫大学排名
时间: 2023-10-10 10:14:40 浏览: 100
大学排名爬虫
以下是一个简单的 Python 爬虫示例,用于获取大学排名:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2020.html'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取表格
table = soup.find('tbody')
# 获取所有行
rows = table.find_all('tr')
# 遍历行,获取大学排名信息
for row in rows:
# 获取每一列信息
cols = row.find_all('td')
# 输出大学排名信息
print(cols[0].text.strip(), cols[1].text.strip(), cols[2].text.strip(), cols[3].text.strip())
```
该示例使用 requests 库向指定 URL 发送 GET 请求,使用 BeautifulSoup 库解析 HTML 页面,然后通过遍历表格的行和列获取大学排名信息,最后将其输出到控制台。请注意,该示例可能需要根据实际情况进行适当修改。
阅读全文