Python爬虫入门：学习Request模块

"Python爬虫第二课：学习如何使用Request库进行网络请求" 在Python爬虫领域，`requests`库是一个非常关键的工具，它允许我们方便地向网站发送HTTP请求，如GET和POST，获取网页内容。本教程将介绍如何安装和使用`requests`库，以及GET和POST请求的基本操作。 首先，我们需要安装`requests`库。如果你的开发环境是PyCharm，可以在终端（Terminal）中输入`pip install requests`进行安装。这将确保你的Python环境具备了执行网络请求的能力。 ### GET请求 GET请求是最常见的HTTP请求类型，通常用于从服务器获取资源。在Python中使用`requests.get()`函数可以实现GET请求。例如，以下代码向搜狗搜索发送一个GET请求，查询"周杰伦"的信息： ```python import requests url = 'https://www.sogou.com/web?query=周杰伦' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0" } # 设置User-Agent以模拟浏览器行为 response = requests.get(url, headers=headers) print(response) print(response.text) # 输出响应的文本内容 ``` 这里的`headers`字典用于设置请求头，特别是`User-Agent`字段，这有助于防止被网站识别为机器人并可能被阻止。 ### POST请求 POST请求常用于向服务器提交数据。在Python中，我们可以使用`requests.post()`函数来发送POST请求。以下是一个简单的例子，演示如何使用`requests.post()`在百度翻译中进行单词翻译： ```python import requests url = 'https://fanyi.baidu.com/sug' word = input("请输入你要翻译的英文：") data = { "kw": word } # 发送POST请求 response = requests.post(url, data=data) print(response.json()) # 解析并打印服务器返回的JSON数据 ``` 这里，`data`参数是一个字典，包含了要发送到服务器的键值对。 ### GET请求的参数封装 有时，GET请求的URL中可能包含参数。有两种方式来处理这些参数： 1. 直接在URL中拼接：你可以直接将参数以`key=value`的形式添加到URL后面，比如`https://movie.douban.com/j/chart/top_list?type=24&interval_id=100:90&action=&start=0&limit=20`。 2. 使用`params`参数：如果参数较多，可以将它们封装在一个字典中，然后通过`params`参数传递。例如： ```python import requests url = "https://movie.douban.com/j/chart/top_list?" params = { "type": "24", "interval_id": "100:90", "action": "", "start": 0, "limit": 20 } response = requests.get(url, params=params) ``` 这两种方式都可以有效地发送带有参数的GET请求。 `requests`库提供了简单易用的接口，让我们能够轻松地进行网络请求和数据交互。了解GET和POST请求的使用，以及如何处理参数，是进行Python网络爬虫的基础。通过熟练掌握这些知识，你可以构建起自己的爬虫程序，抓取网络上的各类信息。