初识Python的requests库及其用法

# 1. Python requests库简介 ## 1.1 什么是requests库 requests库是一个用于发送HTTP请求的Python第三方库，它简化了我们在编写网络请求时的操作步骤。使用requests库，我们可以轻松地发送GET、POST等各种类型的请求，并处理返回的响应数据。 ## 1.2 requests库的作用和优势 requests库的作用是帮助我们简化发送网络请求的过程。相对于其他的网络请求库，requests库具有以下几个优势： - 简洁易用：requests库提供了简单而直观的接口，使得发送请求变得非常简单。 - 功能丰富：requests库支持多种请求方法、多种数据格式，以及请求头、Cookie等的设置。 - 自动化处理：requests库可以自动处理重定向、管理会话和Cookie等，减少了我们的工作量。 - 良好的性能：requests库底层使用了C语言的库，因此具有较高的执行效率。 ## 1.3 安装requests库在使用requests库之前，我们需要先安装它。可以通过以下命令使用pip进行安装： ```python pip install requests ``` 安装完成后，我们就可以在Python程序中使用requests库了。接下来，我们将深入学习requests库的具体用法。 # 2. 发送GET请求在这一章中，我们将介绍如何使用Python的requests库发送GET请求。GET请求是HTTP协议中最常用的一种请求方法，用于从服务器获取数据。Python的requests库提供了简单且强大的方法来发送GET请求，以及处理返回的响应数据。 ### 2.1 GET请求的基本概念 GET请求是HTTP协议中的一种请求方法，通过URL参数传递数据，且请求的数据储存在URL中。GET请求不会修改服务器的状态，只会获取资源或数据。在浏览器中，当我们在地址栏输入一个URL并按下回车键时，浏览器就会发送一个GET请求并从服务器获取页面的内容。 ### 2.2 使用requests库发送GET请求的方法 Python的requests库提供了发送HTTP请求的方法，其中最常用的方法是`requests.get(url, params=None, **kwargs)`。下面是一个简单的GET请求的示例代码： ```python import requests url = 'https://api.example.com/data' # 请求的URL params = {'key': 'value'} # 请求的参数 response = requests.get(url, params=params) print(response.text) # 打印服务器返回的响应内容 ``` 代码解析： - 首先，我们导入了requests库。 - 然后，定义了要请求的URL和参数。 - 使用`requests.get(url, params=params)`发送了一个GET请求，并将返回的响应对象赋值给`response`变量。 - 最后，打印出了服务器返回的响应内容。 ### 2.3 响应对象的处理发送GET请求后，我们会得到一个响应对象，通过该对象我们可以获取服务器返回的数据或其他相关信息。以下是一些常用的响应对象的处理方法： - `response.status_code`：获取响应的状态码。 - `response.text`：获取响应的文本内容。 - `response.json()`：获取响应的JSON格式数据。 - `response.headers`：获取响应的头部信息。我们来看一个完整的示例代码： ```python import requests url = 'https://api.example.com/data' # 请求的URL params = {'key': 'value'} # 请求的参数 response = requests.get(url, params=params) # 获取响应的状态码 status_code = response.status_code print(f'Status Code: {status_code}') # 获取响应的文本内容 text = response.text print(f'Response Text: {text}') # 获取响应的JSON格式数据 data = response.json() print(f'Response JSON: {data}') # 获取响应的头部信息 headers = response.headers print(f'Response Headers: {headers}') ``` 代码解析： - 首先，我们导入了requests库。 - 然后，定义了要请求的URL和参数。 - 使用`requests.get(url, params=params)`发送了一个GET请求，并将返回的响应对象赋值给`response`变量。 - 接着，我们分别使用上述方法获取了响应的状态码、文本内容、JSON格式数据和头部信息，并将它们打印出来。通过上述代码，我们可以很方便地发送GET请求并处理响应对象。总结： - 使用`requests.get(url, params=None, **kwargs)`方法可以发送GET请求。 - 响应对象提供了多个方法来获取响应的状态码、文本内容、JSON格式数据和头部信息。在下一章中，我们将介绍如何发送POST请求，并讨论POST请求中的参数传递与数据提交的方法。 # 3. 发送POST请求 #### 3.1 POST请求的基本概念在网络通信中，POST请求是一种向服务器提交数据的方法，常用于用户注册、登录和数据提交等场景。与GET请求相比，POST请求的数据传输方式是在请求体中进行，相对来说更安全一些。 #### 3.2 使用requests库发送POST请求的方法使用Python中的requests库发送POST请求非常简单，只需调用库提供的post()方法即可。以下是一个示例代码： ```python import requests url = "http://www.example.com/api/login" data = {"username": "user1", "password": "123456"} response = requests.post(url, data=data) ``` 上述代码中，首先定义了一个请求的URL和需要传递的参数（这里是用户名和密码）。然后利用requests库的post()方法发送POST请求，并将返回的响应对象赋值给response变量。 #### 3.3 POST请求中的参数传递与数据提交在实际使用中，除了通过data参数传递参数外，还可以通过其他方式进行参数传递和数据提交。requests库提供了以下两种常用的方式： ##### 3.3.1 通过json参数传递JSON数据当需要发送JSON格式的数据时，可以使用json参数。以下是一个示例代码： ```python import requests url = "http://www.example.com/api/create" data = { "title": "New Post", "content": "This is a new post." } response = requests.post(url, json=data) ``` 该例中，data变量是一个包含了标题和内容的字典。使用json参数时，requests库会自动将data转换为JSON格式，并设置请求头的Content-Type字段为"application/json"。 ##### 3.3.2 通过headers参数设置请求头在POST请求中，除了传递参数外，有时还需要设置一些请求头的字段，比如指定编码方式、用户代理等。可以使用headers参数来设置请求头。以下是一个示例代码： ```python import requests url = "http://www.example.com/api/create" data = {"title": "New Post"} headers = { "Content-Type": "application/x-www-form-urlencoded", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.post(url, data=data, headers=headers) ``` 该例中，headers变量是一个包含请求头字段的字典。通过传递headers参数，可以自由设置请求头的各个字段。以上就是使用requests库发送POST请求的基本方法和参数传递方式。根据实际需求，可以选择适合的方式来发送POST请求，并处理返回的响应结果。在下一章节中，我们将学习如何处理请求头和Cookie。 # 4. 请求头和Cookie处理在使用Python的requests库发送网络请求时，我们经常需要处理请求头和Cookie信息。请求头中包含了请求的相关信息，如User-Agent、Referer等，而Cookie则是用来在客户端和服务器之间传递状态信息的一种方式。下面将介绍如何设置请求头和处理Cookie信息。 ### 4.1 请求头的作用和常见字段请求头是在发送HTTP请求时，携带的一些附加信息，它可以用来告诉服务器该请求的一些相关信息，如客户端的身份、请求方式、内容类型等。常见的请求头字段包括： - User-Agent：用来告诉服务器客户端的身份和使用的操作系统，常用于模拟不同的浏览器或客户端类型。 - Referer：用来告诉服务器该请求是从哪个页面跳转过来的。 - Accept-Encoding：用来告诉服务器客户端支持的压缩格式，如gzip、deflate等。 - Content-Type：用来告诉服务器请求体中的数据类型。 - Cookie：用来在客户端和服务器之间传递状态信息的一种方式。 ### 4.2 如何设置请求头在使用requests库发送请求时，我们可以通过headers参数来设置请求头。下面是一个示例： ```python import requests url = 'https://www.example.com' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36', 'Referer': 'https://www.google.com' } response = requests.get(url, headers=headers) ``` 在上面的示例中，我们通过定义一个字典来设置请求头，其中包括了User-Agent和Referer字段。这样，发送的请求就会带上这些自定义的请求头。 ### 4.3 Cookie的基本概念和处理方法 Cookie是在客户端保存用户状态的一种机制，它通过在HTTP响应头中的Set-Cookie字段设置，并在后续的请求中通过Cookie字段传递给服务器。在使用requests库时，我们可以通过cookies参数来设置Cookie值，也可以通过CookieJar对象来处理Cookie信息。下面是一个示例： ```python import requests url = 'https://www.example.com' cookies = { 'name': 'value', 'example_cookie': '1234567890' } response = requests.get(url, cookies=cookies) # 或者使用CookieJar对象处理Cookie信息 cookie_jar = requests.cookies.RequestsCookieJar() cookie_jar.set('name', 'value') cookie_jar.set('example_cookie', '1234567890') response = requests.get(url, cookies=cookie_jar) ``` 在上面的示例中，我们通过定义一个字典来设置Cookie信息，并将其传递给请求的cookies参数。另一种方法是使用CookieJar对象来处理Cookie信息，首先创建一个CookieJar对象，然后使用set()方法来设置Cookie的值。总结：在使用Python的requests库发送网络请求时，请求头和Cookie处理是常用的功能。通过设置请求头，我们可以自定义请求的相关信息；而通过设置Cookie值，我们可以在客户端和服务器之间传递状态信息。在实际应用中，根据具体的需求和场景，合理设置请求头和处理Cookie信息对于获取需要的数据或实现特定功能非常重要。 # 5. 异常处理与重试机制在使用Python的requests库发送网络请求时，我们经常会遇到各种异常情况。了解如何正确处理这些异常并进行重试是非常重要的，可以确保我们的程序更加稳定和可靠。 ### 5.1 requests库中常见的异常类型 requests库中定义了多种异常类型，常见的有： - **requests.exceptions.RequestException:** 所有异常的基类，可以用来捕获所有requests库抛出的异常。 - **requests.exceptions.ConnectionError:** 发生网络连接错误的时候抛出的异常，比如DNS查询失败、拒绝连接等。 - **requests.exceptions.HTTPError:** 当HTTP请求返回错误状态码（4xx或5xx）时抛出的异常。 - **requests.exceptions.Timeout:** 当请求超时时抛出的异常。 - **requests.exceptions.URLRequired:** URL缺失时抛出的异常。以上只是一部分常见的异常类型，如果遇到其他情况，可以查阅requests库的官方文档获取更详细的异常信息。 ### 5.2 如何进行异常处理和错误日志记录在实际使用requests库的过程中，我们应该合理处理各种异常，以保证程序的正常运行。下面是一个简单的异常处理示例： ```python import requests from requests.exceptions import RequestException try: response = requests.get('https://www.example.com') response.raise_for_status() # 检查响应是否正常 print("请求成功") except RequestException as e: print("请求出错：", e) ``` 在上面的示例中，我们使用了try-except结构来捕获可能发生的RequestException，并在出现异常时打印出错信息。这样可以避免程序因为一个小问题而终止运行。另外，我们可以通过使用日志库，如Python标准库的logging模块，来记录异常信息，方便后续的排查和分析： ```python import requests import logging logging.basicConfig(level=logging.ERROR) # 设置日志级别为ERROR try: response = requests.get('https://www.example.com') response.raise_for_status() # 检查响应是否正常 print("请求成功") except requests.exceptions.RequestException as e: logging.error("请求出错：" + str(e)) ``` 上述示例中我们使用了logging的`basicConfig`方法设置了日志级别为ERROR，即只记录ERROR级别及以上的日志信息。 ### 5.3 重试机制的实现与使用有时，在网络不稳定或服务器繁忙的情况下，我们的请求可能会失败。为了增加请求的成功率，我们可以加入重试机制，即在请求失败时重新发送请求。 requests库本身并不支持内置的重试机制，但我们可以借助其他的库来实现。下面是一个使用retrying库实现请求重试的示例： ```python import requests from retrying import retry # 定义重试装饰器 @retry(stop_max_attempt_number=3) # 最多重试3次 def send_request(): response = requests.get('https://www.example.com') response.raise_for_status() # 检查响应是否正常 print("请求成功") try: send_request() except requests.exceptions.RequestException as e: print("请求出错：", e) ``` 在上述示例中，我们使用retrying库来实现了一个重试装饰器。通过在`send_request`函数前添加`@retry`装饰器，可以实现在请求失败时自动进行重试，最多重试3次。需要注意的是，引入其他库来实现重试机制可能会带来一定的性能损耗，因此需要酌情选择是否使用重试机制。以上就是异常处理和重试机制的使用方法，正确的异常处理和合理的重试机制可以提高我们程序的健壮性和可靠性。在实际使用中，我们根据具体情况选择合适的方式来处理异常和设置重试次数，以提供更好的用户体验和稳定性。 # 6. 高级功能介绍在本章中，我们将介绍Python requests库的高级功能，包括文件上传与下载、Session对象的使用以及SSL证书验证与代理设置。 #### 6.1 文件上传与下载文件上传和下载是网络请求中常见的需求，在requests库中也提供了相应的功能来实现这些操作。 ##### 6.1.1 文件上传使用requests库可以方便地实现文件上传，示例代码如下： ```python import requests url = 'http://example.com/upload' files = {'file': open('example.txt', 'rb')} response = requests.post(url, files=files) print(response.text) ``` 上述代码中，我们通过`open`函数打开本地文件，并将其传递给`requests.post`方法中的`files`参数进行上传。 ##### 6.1.2 文件下载通过requests库也可以实现文件的下载操作，示例代码如下： ```python import requests url = 'http://example.com/download/example.doc' response = requests.get(url) with open('example.doc', 'wb') as file: file.write(response.content) ``` 上述代码中，我们发送了一个GET请求来获取文件内容，并通过`open`函数以二进制写入模式将文件内容写入本地文件。 #### 6.2 Session对象的使用在requests库中，Session对象可以用来长久保持会话，自动处理cookies等。示例代码如下： ```python import requests session = requests.Session() # 使用session发送多个请求 response1 = session.get('http://example.com/login') response2 = session.post('http://example.com/login', data={'username': 'user', 'password': 'pass'}) # 会话级别的cookie保持 print(session.cookies) ``` 在上面的代码中，我们创建了一个Session对象，并使用该对象发送了多个请求，会话级别的cookie得到了自动处理。 #### 6.3 SSL证书验证与代理设置 requests库也提供了SSL证书验证和代理设置的功能，可以在请求中进行相应配置，示例代码如下： ```python import requests # SSL证书验证 response = requests.get('https://example.com', verify='/path/to/certfile.pem') # 代理设置 proxies = { 'http': 'http://10.10.1.10:3128', 'https': 'https://10.10.1.10:1080', } response = requests.get('http://example.com', proxies=proxies) ``` 在上面的代码中，我们可以通过`verify`参数设置SSL证书验证的证书路径，也可以通过`proxies`参数设置HTTP和HTTPS代理。通过本章的学习，你已经了解了Python requests库中一些高级功能的实际用法，包括文件上传与下载、Session对象的使用，以及SSL证书验证和代理设置。接下来，你可以根据实际需求灵活运用这些功能，来满足复杂的网络请求操作。