(3)应用requests库和beautifulsoup4等库进行网页抓取和数据解析。 3.1 beautifulsoup4的解析 pip install bs4,test.html

首先需要安装beautifulsoup4库，可以使用pip install bs4命令进行安装。安装完成之后，我们可以用beautifulsoup4来解析HTML网页。

假设我们有一个名为test.html的HTML文件，可以使用以下代码进行解析：

from bs4 import BeautifulSoup

with open('test.html', 'r') as f:
    html = f.read()

soup = BeautifulSoup(html, 'html.parser')

其中，第一行导入了BeautifulSoup库。第二行使用with语句打开test.html文件，并将其读入变量html中。第三行使用BeautifulSoup库对html进行解析，并将解析结果存入变量soup中。

接下来，我们可以使用soup中的各种方法来获取HTML页面中的各种元素，例如：

# 获取页面标题
title = soup.title.string

# 获取页面中所有链接
links = soup.find_all('a')

# 获取页面中第一个段落
paragraph = soup.p

这些方法都非常简单易懂，而且BeautifulSoup提供了非常丰富的功能，可以帮助我们轻松地获取和解析HTML页面中的各种元素。