使用requests库发送HTTP请求的常见方法

# 1. 介绍requests库

## 1.1 requests库简介
Requests是一个常用的Python HTTP库，用于发送HTTP请求和处理HTTP响应。它简洁而直观的API设计，使得发送HTTP请求变得非常方便和灵活。无论是进行简单的GET请求还是复杂的文件上传，Requests库都可以胜任。本章将介绍Requests库的特点和使用场景。

## 1.2 requests库的安装
在开始使用Requests库之前，我们需要先安装它。在Python中，可以使用pip命令来安装Requests库。打开命令行终端，执行以下命令进行安装：

pip install requests

确保网络连接正常，并等待安装完成。

## 1.3 发送第一个HTTP请求
让我们来发送第一个HTTP请求，使用Requests库非常简单。只需要导入库并调用相应的方法即可。以下是一个发送简单GET请求的示例：

import requests

response = requests.get("https://www.example.com")
print(response.text)

以上代码中，我们导入了Requests库，并使用`get`方法发送了一个GET请求到`https://www.example.com`。然后，我们打印出了响应内容。注意，`response.text`返回的是响应的文本内容。

这就是使用Requests库发送HTTP请求的基本流程。接下来，我们将深入学习更多关于GET请求和其它HTTP请求方法的用法。

以上就是第一章的内容，介绍了requests库的简介、安装方法和发送第一个HTTP请求的步骤。后续章节将更加详细地介绍GET请求、POST请求、其它HTTP请求方法、请求头与cookies的处理、异常处理与重试机制等内容。敬请期待！

# 2. GET请求

## 2.1 发送简单的GET请求

GET请求是最常见的HTTP请求方法之一，用于从服务器获取资源。使用requests库发送GET请求非常简单，只需调用`requests.get()`方法即可。

下面是一个简单的GET请求的示例代码：

import requests

# 发送GET请求，并获取响应数据
response = requests.get("https://api.example.com/data")

# 打印响应内容
print(response.text)

上述代码中，我们使用`requests.get()`方法发送一个GET请求到`https://api.example.com/data`地址，并将返回的响应对象保存在`response`变量中。然后，我们通过`response.text`获取响应的内容，并打印出来。

## 2.2 带参数的GET请求

除了简单的GET请求之外，我们还可以发送带参数的GET请求。参数可以通过URL中的查询字符串或者通过`params`参数传递给`requests.get()`方法。

下面是一个带参数的GET请求的示例代码：

import requests

# 定义参数
params = {
    "key1": "value1",
    "key2": "value2"
}

# 发送带参数的GET请求，并获取响应数据
response = requests.get("https://api.example.com/data", params=params)

# 打印响应内容
print(response.text)

在上述代码中，我们定义了一个字典`params`，其中包含了两个参数（"key1"和"key2"）。然后，我们使用`requests.get()`方法发送带参数的GET请求，并将参数通过`params`参数传递给该方法。最后，我们通过`response.text`获取响应的内容，并打印出来。

## 2.3 处理GET请求的返回结果

在发送GET请求后，我们需要处理返回的响应结果。常见的处理方式包括获取响应的状态码、头部信息、内容等。

下面是一个处理GET请求返回结果的示例代码：

import requests

# 发送GET请求，并获取响应数据
response = requests.get("https://api.example.com/data")

# 获取响应状态码
status_code = response.status_code
print("Status Code:", status_code)

# 获取响应头部信息
headers = response.headers
print("Headers:", headers)

# 获取响应内容
content = response.content
print("Content:", content)

在上述代码中，我们发送了一个GET请求，并将返回的响应对象保存在`response`变量中。然后，我们使用`response.status_code`获取响应的状态码，并通过`response.headers`获取响应的头部信息。最后，我们使用`response.content`获取响应的内容。

通过以上的代码示例，我们可以基本了解GET请求的常见用法，以及如何处理GET请求的返回结果。

# 3. POST请求

在本章中，我们将介绍如何使用requests库发送POST请求。POST请求常用于向服务器提交数据，例如表单数据、JSON数据或文件上传等。我们将详细讨论发送简单的POST请求、带参数的POST请求以及发送带文件的POST请求的方法。

#### 3.1 发送简单的POST请求

首先，我们来看如何发送一个简单的POST请求。我们将以一个示例来演示如何向一个API提交用户名和密码，并获取返回的结果。

import requests

url = 'https://example.com/login'
data = {'username': 'user123', 'password': 'pass456'}
response = requests.post(url, data=data)

print(response.text)

**代码说明：**
- 我们首先导入requests库。
- 然后指定需要发送POST请求的URL。
- 创建一个包含用户名和密码的字典作为POST请求的数据。
- 最后，使用requests.post()方法发送POST请求，并将结果存储在response变量中。我们可以通过response.text获取服务器返回的内容。

**代码总结：**
通过requests.post()方法发送简单的POST请求，并获取服务器的响应内容。

**结果说明：**
执行以上代码后，将会输出服务器返回的内容，通常是登录成功或失败的信息。

#### 3.2 带参数的POST请求

有时候，我们需要向服务器提交更复杂的数据，例如JSON格式的数据。下面我们将演示如何发送带参数的POST请求。

import requests
import json

url = 'https://example.com/api'
data = {'key1': 'value1', 'key2': 'value2'}
json_data = json.dumps(data)
headers = {'Content-Type': 'application/json'}
response = requests.post(url, data=json_data, headers=headers)

print(response.text)

**代码说明：**
- 导入requests和json库。
- 指定需要发送POST请求的URL。
- 创建一个包含参数的字典，并使用json.dumps()将其转换为JSON格式的数据。
- 创建headers字典，指定请求的Content-Type为application/json。
- 使用requests.post()方法发送带参数的POST请求，并将结果存储在response变量中。我们同样可以通过response.text获取服务器返回的内容。

**代码总结：**
使用requests.post()方法发送带参数的POST请求，并在请求中包含JSON格式的数据。

**结果说明：**
执行以上代码后，服务器将返回处理后的结果，并将其打印出来。

#### 3.3 发送带文件的POST请求

除了提交表单数据或JSON数据之外，有时候我们还需要上传文件。以下是如何使用requests库发送带文件的POST请求的示例。

import requests

url = 'https://example.com/upload'
files = {'file': open('example.txt', 'rb')}
response = requests.post(url, files=files)

print(response.text)

**代码说明：**
- 指定需要发送POST请求的URL。
- 创建一个文件字典，其中键是文件字段名称，值是通过open()方法打开的文件对象。
- 使用requests.post()方法发送带文件的POST请求，并将结果存储在response变量中。同样，可以通过response.text获取服务器返回的内容。

**代码总结：**
使用requests.post()方法发送带文件的POST请求，可以通过files参数来指定上传的文件。

**结果说明：**
执行以上代码后，服务器将返回文件上传的结果，并将其打印出来。

# 4. 其它常见HTTP请求方法

在本章中，我们将学习如何使用requests库发送除了GET和POST之外的常见HTTP请求方法，包括PUT、DELETE和PATCH。

#### 4.1 PUT请求

PUT请求用于向服务器发送数据，通常用于更新资源。接下来我们将演示如何使用requests库发送PUT请求。

import requests

# 构造PUT请求
url = 'https://api.example.com/resource/123'
data = {'name': 'New Resource Name'}
response = requests.put(url, data=data)

# 处理PUT请求的返回结果
print(response.status_code)
print(response.text)

**代码说明：**
- 使用requests库的put方法发送PUT请求。
- 可以通过传递data参数来发送数据。
- 打印出返回的状态码和响应内容。

#### 4.2 DELETE请求

DELETE请求用于删除指定的资源。接下来我们将演示如何使用requests库发送DELETE请求。

import requests

# 构造DELETE请求
url = 'https://api.example.com/resource/123'
response = requests.delete(url)

# 处理DELETE请求的返回结果
print(response.status_code)
print(response.text)

**代码说明：**
- 使用requests库的delete方法发送DELETE请求。
- 不需要传递任何参数，直接指定要删除的资源的URL。
- 打印出返回的状态码和响应内容。

#### 4.3 PATCH请求

PATCH请求用于对资源进行局部更新。接下来我们将演示如何使用requests库发送PATCH请求。

import requests

# 构造PATCH请求
url = 'https://api.example.com/resource/123'
data = {'name': 'Updated Resource Name'}
response = requests.patch(url, data=data)

# 处理PATCH请求的返回结果
print(response.status_code)
print(response.text)

**代码说明：**
- 使用requests库的patch方法发送PATCH请求。
- 可以通过传递data参数来指定局部更新的数据。
- 打印出返回的状态码和响应内容。

通过上述示例，你可以学会使用requests库发送PUT、DELETE和PATCH请求，以及处理它们的返回结果。

希望这一章的内容对你有所帮助！

# 5. 请求头与cookies的处理

在这一章中，我们将讨论如何处理HTTP请求中的请求头和cookies。请求头包含了关于请求、响应或关于双方的信息，而cookies则用于在客户端存储会话信息。在使用requests库发送HTTP请求时，正确处理请求头和cookies是非常重要的。

#### 5.1 添加请求头

在发送HTTP请求时，有时候我们需要添加一些自定义的请求头信息，比如User-Agent、Referer等。使用requests库，可以通过设置headers参数来添加请求头信息。

import requests

# 构造自定义请求头
headers = {
    'User-Agent': 'Mozilla/5.0',
    'Referer': 'https://www.example.com'
}

# 发送带自定义请求头的GET请求
response = requests.get('https://www.example.com', headers=headers)

# 打印请求头
print(response.request.headers)

**代码说明：**
- 我们使用了requests库的get方法发送了一个带自定义请求头的GET请求。
- 在headers参数中，我们添加了User-Agent和Referer两个自定义请求头。
- 最后打印出请求头，可以看到我们添加的自定义请求头信息。

**结果说明：**
- 打印出的请求头中包含了我们添加的自定义请求头信息。

#### 5.2 处理cookies

有些情况下，我们需要处理HTTP响应中的cookies信息，以便在后续的请求中使用这些cookies。requests库可以自动处理cookies，并且也提供了方式来手动处理cookies。

import requests

# 发送请求，获取cookies
response = requests.get('https://www.example.com')

# 打印响应中的cookies
print(response.cookies)

# 将响应中的cookies添加到下一个请求中
cookies = response.cookies
response2 = requests.get('https://www.example2.com', cookies=cookies)

**代码说明：**
- 我们发送了一个GET请求，获取了响应中的cookies信息。
- 我们将响应中的cookies直接传递给了下一个请求，实现了在不同请求之间传递cookies的效果。

**结果说明：**
- 第一个请求中获取的cookies信息被成功地传递给了第二个请求。

#### 5.3 自定义cookie处理逻辑

除了直接使用响应中的cookies，有时候我们还需要对cookies进行自定义的处理，比如设置过期时间、路径、域等信息。requests库提供了Cookie类来进行自定义的cookie处理。

import requests
from requests.cookies import RequestsCookieJar

# 构造自定义的cookie
cookie_jar = RequestsCookieJar()
cookie_jar.set('name', 'value', domain='www.example.com', path='/')

# 发送带自定义cookie的GET请求
response = requests.get('https://www.example.com', cookies=cookie_jar)

# 打印响应
print(response.text)

**代码说明：**
- 我们构造了一个自定义的cookie，设置了name和value，并且指定了domain和path。
- 然后将自定义的cookie传递给了GET请求，作为该请求的cookies参数。

**结果说明：**
- 响应正文会根据传递的cookies，显示相应的内容。

以上就是关于请求头与cookies的处理的内容，通过对这些内容的学习，我们可以更灵活地控制和处理HTTP请求中的头部信息和cookies。

# 6. 异常处理与重试机制

在发送HTTP请求时，我们经常会遇到各种异常情况，如网络连接超时、服务器返回错误等。为了提高程序的健壮性和稳定性，我们需要对这些异常情况进行处理。同时，由于网络环境的不稳定性，请求可能会失败，此时我们可以使用重试机制来重新发送请求。

## 6.1 异常处理

在使用requests库发送HTTP请求时，可以通过捕捉异常来处理各种异常情况。常见的异常类如下：

- `requests.exceptions.RequestException`：所有requests库引发的异常的基类。
- `requests.exceptions.HTTPError`：请求返回了不成功的状态码（400及以上）时引发的异常。
- `requests.exceptions.ConnectionError`：请求时出现网络连接问题引发的异常。
- `requests.exceptions.Timeout`：请求超时引发的异常。
- `requests.exceptions.TooManyRedirects`：请求重定向次数超过最大值引发的异常。

下面是一个使用try-except语句进行异常处理的示例：

import requests

try:
    response = requests.get("https://www.example.com")
    response.raise_for_status()  # 检查响应状态码，如果不是200，会抛出HTTPError异常
    print("请求成功")
except requests.exceptions.HTTPError as errh:
    print("HTTP Error:", errh)
except requests.exceptions.ConnectionError as errc:
    print("Error Connecting:", errc)
except requests.exceptions.Timeout as errt:
    print("Timeout Error:", errt)
except requests.exceptions.RequestException as err:
    print("请求异常:", err)

上面的代码中，我们首先发送了一个GET请求，然后通过`raise_for_status()`方法来检查响应状态码是否为200。如果状态码不是200，会抛出`HTTPError`异常。在`try`代码块中，可以捕捉到不同类型的异常并进行相应的处理。

## 6.2 重试机制的实现

当请求失败时，我们可以使用重试机制来重新发送请求，以提高成功率。requests库提供了`Retry`类来实现重试机制。我们可以通过设置重试次数、重试间隔等参数来控制重试的行为。

在使用重试机制时，通常需要自定义一个重试策略，可以根据自己的需求进行调整。下面是一个使用重试机制发送GET请求的示例：

import requests
from requests.adapters import HTTPAdapter
from requests.exceptions import RetryError

# 定义重试策略
retries = Retry(total=3, backoff_factor=0.5, status_forcelist=[500, 502, 503, 504])

# 创建一个会话对象
session = requests.Session()
session.mount("http://", HTTPAdapter(max_retries=retries))

try:
    response = session.get("https://www.example.com")
    response.raise_for_status()
    print("请求成功")
except RetryError as err:
    print("重试失败:", err)
except requests.exceptions.RequestException as err:
    print("请求异常:", err)

上面的代码中，我们首先定义了一个重试策略，设置了最大重试次数为3次，重试间隔为0.5秒，并指定了一些特定状态码触发重试。然后，我们创建了一个会话对象，并使用`mount`方法将重试策略应用到会话对象上。

在发送请求时，我们使用会话对象的`get`方法发送GET请求。如果请求失败，会触发重试机制，并根据重试策略进行重试。如果重试失败或出现其他异常，会捕捉到相应的异常并进行处理。

## 6.3 优化和性能调优建议

在使用requests库发送HTTP请求时，为了提高性能和效率，我们可以通过以下几点进行优化：

1. 使用会话对象：使用会话对象可以在多个请求之间保持共享的参数和状态，减少重复的连接建立过程，提高性能。

2. 使用连接池：通过使用连接池，可以减少连接的创建和销毁次数，提高请求的效率。

3. 合理设置超时时间：根据实际情况，合理设置连接超时时间和读取超时时间，避免请求过程中的长时间阻塞。

4. 合理设置重试次数和重试间隔：根据网络环境和服务稳定性，合理设置重试次数和重试间隔，避免频繁重试对性能造成负面影响。

总的来说，异常处理和重试机制是使用requests库发送HTTP请求时不可或缺的部分。合理处理异常情况和使用重试机制可以大大提高程序的稳定性和可靠性。

以上就是关于异常处理与重试机制的内容，希望对你的学习和实践有所帮助！