利用requests爬虫库和beautifulsoup4爬取华中农业大学信息学院官网上计算机科学系的师资队伍,编写代码
时间: 2024-04-29 11:20:23 浏览: 123
使用requests和BeautifulSoup库实现从任意网站爬取数据_附源代码+注释
5星 · 资源好评率100%
好的,以下是利用 requests 和 beautifulsoup4 爬取华中农业大学信息学院官网上计算机科学系师资队伍的代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'http://cs.hzau.edu.cn/szdw/jsml.htm'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发起请求
response = requests.get(url, headers=headers)
# 解析页面
soup = BeautifulSoup(response.content, 'html.parser')
# 找到师资队伍列表所在位置
teachers = soup.find('div', attrs={'class': 'wp_articlecontent'}).find_all('li')
# 遍历列表并输出每个教师的姓名和职称
for teacher in teachers:
name = teacher.find('span', attrs={'class': 'name'}).text.strip()
title = teacher.find('span', attrs={'class': 'title'}).text.strip()
print(f'{name} - {title}')
```
运行代码后,就能够输出华中农业大学信息学院计算机科学系的师资队伍了。
阅读全文