python湖北省内大学排名爬虫代码介绍

下面是一个爬取湖北省内大学排名的简单爬虫代码，并且使用了 BeautifulSoup 和 requests 库：

import requests
from bs4 import BeautifulSoup

url = 'http://www.huban.com/hubei/daxue'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

table = soup.find('table', class_='table table-bordered')
rows = table.find_all('tr')

for row in rows:
    cols = row.find_all('td')
    if len(cols) > 0:
        print(cols[0].get_text(), cols[1].get_text(), cols[2].get_text(), cols[3].get_text())

这个代码首先通过 requests 库发送 HTTP 请求获取网页的 HTML 内容，然后使用 BeautifulSoup 库解析 HTML 内容。接着，它找到了代表大学排名的表格，并且遍历每一行，提取出排名、学校名称、所在城市和总分数，并且将这四个信息输出到控制台上。

需要注意的是，这个网站没有 robots.txt 文件，但是我们仍然需要尊重网站的规则，不要过度请求，以免影响网站的正常运行。此外，有些网站可能设置了防爬虫机制，需要我们使用一些技巧来避免被拦截，例如设置 User-Agent、使用代理等。