【基础】爬虫实战：爬取静态网页文本数据

# 2.1 HTTP协议和网页结构分析

### 2.1.1 HTTP协议的基本原理

HTTP（超文本传输协议）是一种应用层协议，用于在Web浏览器和Web服务器之间传输数据。HTTP协议基于请求-响应模型，客户端（通常是Web浏览器）向服务器发送HTTP请求，服务器接收请求并返回HTTP响应。

HTTP请求由以下部分组成：

* 请求行：指定请求方法（如GET、POST）、请求的资源路径和HTTP版本。
* 请求头：包含有关客户端和请求的其他信息，如User-Agent、Accept和Content-Type。
* 请求体：包含请求的数据（可选）。

HTTP响应由以下部分组成：

* 状态行：包含HTTP状态代码（如200 OK）、状态消息和HTTP版本。
* 响应头：包含有关响应的其他信息，如Content-Type、Content-Length和Date。
* 响应体：包含响应的数据（可选）。

# 2. 静态网页文本数据爬取实践

### 2.1 HTTP协议和网页结构分析

#### 2.1.1 HTTP协议的基本原理

HTTP（超文本传输协议）是一种用于在Web客户端和服务器之间传输数据的协议。它是一个无状态协议，这意味着每次请求都是独立的，服务器不会存储任何有关客户端状态的信息。

HTTP请求由以下部分组成：

* **请求行：**指定请求的方法（例如GET或POST）、请求的资源（例如URL）和HTTP版本。
* **请求头：**包含有关客户端和请求的其他信息，例如用户代理、内容类型和Cookie。
* **请求体：**如果请求是POST请求，则包含要提交到服务器的数据。

HTTP响应由以下部分组成：

* **状态行：**指定响应的状态代码（例如200 OK或404 Not Found）和HTTP版本。
* **响应头：**包含有关响应的其他信息，例如内容类型、内容长度和缓存控制。
* **响应体：**包含服务器发送给客户端的数据。

#### 2.1.2 网页结构的组成和解析

网页由HTML（超文本标记语言）编写，它定义了网页的结构和内容。HTML文档由以下元素组成：

* **标签：**用于定义网页元素，例如标题、段落和列表。
* **属性：**用于为标签提供附加信息，例如ID、类和样式。
* **内容：**标签之间的文本或其他元素。

要解析网页，需要了解HTML语法并使用解析库，例如BeautifulSoup或lxml。这些库可以将HTML文档转换为一个对象树，使您可以轻松地访问和操作网页元素。

### 2.2 网页文本数据提取技术

#### 2.2.1 正则表达式匹配

正则表达式是一种用于匹配字符串模式的强大工具。它们可以用于从网页中提取特定文本数据，例如电子邮件地址、电话号码和日期。

正则表达式语法包括：

* **字符类：**匹配特定字符组，例如字母、数字和标点符号。
* **量词：**指定字符或模式出现的次数，例如一次或多次。
* **分组：**将模式的一部分分组，以便可以引用或重复使用。

#### 2.2.2 HTML解析库使用

HTML解析库，例如BeautifulSoup或lxml，可以更轻松地从网页中提取文本数据。这些库提供了一个对象模型，使您可以使用Python对象访问和操作网页元素。

例如，使用BeautifulSoup提取网页标题：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_conte