爬取财经类大学第二页排名代码运行图
时间: 2024-10-24 11:01:06 浏览: 10
爬取财经类大学排名通常涉及到网络爬虫技术,尤其是当你想从网页上获取动态加载或分页的数据。对于第二页排名,你可能需要模拟浏览器行为,例如发送Ajax请求或者使用Selenium等工具。
下面是一个简化的Python爬虫代码示例,使用requests和BeautifulSoup库来抓取静态HTML页面(假设财经类大学排名的页面结构已知):
```python
import requests
from bs4 import BeautifulSoup
def get_ranking_page(url):
headers = {'User-Agent': 'Mozilla/5.0'} # 模拟浏览器头部信息
response = requests.get(url, headers=headers)
if response.status_code == 200:
return BeautifulSoup(response.text, 'html.parser')
else:
print(f"Failed to fetch the page, status code: {response.status_code}")
# 主函数
def main():
base_url = "http://example.com/career-rankings/page=2" # 虚拟的财经大学排名URL,替换为你实际的目标网站
soup = get_ranking_page(base_url)
rankings = soup.find_all('div', class_='rank') # 假设排名信息在class为'rank'的元素内
for rank in rankings:
print(rank.text) # 打印排名信息
if __name__ == '__main__':
main()
```
请注意,实际操作中你需要根据目标网站的具体HTML结构调整选择器。如果遇到动态加载的内容,如JavaScript生成,你可能还需要结合如Selenium这样的工具来处理。
阅读全文