利用Requests库进行简单爬虫实践

# 1. 简介

爬虫是指一种程序或者脚本，可以自动化地浏览互联网，并从网页中提取所需的信息。在网络爬虫中，Requests库是一个常用的Python HTTP库，它简化了向Web服务器发送HTTP请求以及处理HTTP响应的过程。

## 什么是爬虫
爬虫是一种模拟人工浏览网页的程序，通过向指定的URL发送HTTP请求，获取页面内容，然后提取特定信息的工具。爬虫可以帮助我们批量获取互联网上的信息，并进行数据分析、挖掘等操作。

## Requests库简介
Requests是Python的一个优秀的HTTP库，它可以简化HTTP请求的过程，提供了一组简洁易用的方法，让我们能够轻松地发送HTTP请求和处理返回的响应。

## 为什么选择Requests库
- Requests库使用简单，功能强大，适用于多种HTTP请求场景。
- Requests库支持多种HTTP方法，并且提供了对Cookies、Headers等的处理功能。
- Requests库具有良好的文档和社区支持，能够便捷地解决遇到的问题。

# 2. 安装Requests库

在进行简单爬虫实践之前，首先需要安装Requests库，Requests库是一个功能强大且易于使用的HTTP库，能够简化HTTP请求的发送和响应处理。

### 使用pip安装Requests库

在命令行中使用以下命令来安装Requests库：

pip install requests

### 确认Requests库已成功安装

可以通过以下代码来验证Requests库是否已成功安装：

import requests

print(requests.__version__)

通过运行上述代码，如果能够打印出Requests库的版本号，则表示Requests库已成功安装。

安装Requests库之后，我们就可以开始使用它来发起HTTP请求了。接下来，我们将详细介绍如何使用Requests库发起简单的HTTP请求。

# 3. 发起简单的HTTP请求

在这一章节中，我们将使用Requests库来发起简单的HTTP请求，包括发送GET请求并获取请求的响应内容。

#### 使用Requests库发送GET请求

首先，我们需要导入Requests库，并使用它来发送一个最简单的GET请求。下面是一个示例代码：

import requests

# 发起一个简单的GET请求
response = requests.get('https://www.example.com')

# 打印请求的状态码
print('Response status code:', response.status_code)

在这段代码中，我们导入了Requests库，并使用`requests.get()`方法发送了一个GET请求到`https://www.example.com`。然后，我们打印出了请求的状态码，状态码表示了服务器对请求的响应情况。

#### 获取请求的响应内容

除了状态码外，我们还可以通过`response.text`来获取请求的响应内容。下面是一个完整的示例代码：

# 发起一个GET请求并获取响应内容
response = requests.get('https://www.example.com')

# 打印请求的响应内容
print('Response content:', response.text)

在这段代码中，我们通过`response.text`获取了请求的响应内容，并打印出来。这个内容通常是网页的HTML源码，我们可以进一步解析这些数据以获取我们需要的信息。

通过这些简单的代码示例，我们可以看到如何使用Requests库发起HTTP请求，并获取请求的响应内容。在实际应用中，我们可以根据需要定制更多的请求参数，以满足不同的爬虫需求。

# 4. 解析网页数据

在爬虫实践中，通常需要从网页中提取出我们感兴趣的数据，这就需要解析网页数据。在本节中，我们将利用Requests库来爬取网页源码，并使用正则表达式来提取我们需要的数据。

#### 使用Requests库爬取网页源码

首先，我们需要使用Requests库发送一个GET请求来获取网页的源代码，接着我们就可以对这个源码进行解析，从而提取出我们所需的信息。

import requests

url = 'https://www.example.com'
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
    print(html_content)
else:
    print('Failed to load page')

上面的代码中，我们发送了一个GET请求到`https://www.example.com`，然后判断响应状态码是否为200，如果是，就将网页源码打印出来。

#### 使用正则表达式提取感兴趣的数据

接下来，我们可以使用正则表达式来从网页源码中提取出我们感兴趣的数据，比如提取网页中的所有链接。

import re

urls = re.findall(r'<a href="(.*?)"', html_content)
for url in urls:
    print(url)

在上面的代码中，我们使用正则表达式`'<a href="(.*?)"'`来匹配网页中的所有链接，并将这些链接打印出来。

通过以上操作，我们可以利用Requests库爬取网页源码，并通过正则表达式来解析提取出我们需要的数据。

# 5. 添加自定义请求头和参数

在实际的爬虫过程中，有时候我们需要添加一些自定义的请求头信息或查询字符串参数来模拟不同的请求场景。Requests库提供了丰富的功能来支持这些需求，让我们来看看如何添加自定义请求头和参数。

#### 设置请求头

在发送HTTP请求时，有些网站可能会验证请求的头信息，如果缺少必要的头信息可能会导致请求失败。使用Requests库可以很方便地设置请求头，示例代码如下：

import requests

url = 'https://www.example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)

print(response.text)

在上面的代码中，我们通过设置`headers`参数来添加了一个自定义的User-Agent请求头，这样就可以模拟浏览器发送请求。

#### 添加查询字符串参数

有时候我们需要在URL中添加一些查询字符串参数来过滤或限制请求的范围，Requests库也提供了支持。示例代码如下：

import requests

url = 'https://www.example.com/search'
params = {
    'q': 'python',
    'page': 2
}

response = requests.get(url, params=params)

print(response.text)

在上面的代码中，我们通过设置`params`参数来添加查询字符串参数，这样就可以在请求中带上这些参数以获取特定的数据。

# 6. 爬取实例

在本节中，我们将通过一个简单的爬虫实例来展示如何利用Requests库来爬取网站上的图片及链接。同时，我们还会对爬虫代码进行优化，处理异常情况和添加重试机制。

#### 编写一个简单的爬虫实例：爬取网站上的图片及链接

首先，我们需要引入Requests库，并定义一个函数来爬取网页内容。接着，我们会利用正则表达式来匹配网页中的图片链接和超链接，并将它们打印出来。

import requests
import re

def crawl_website(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            content = response.text
            img_urls = re.findall('<img .*?src="(.*?)"', content)
            for img_url in img_urls:
                print("Image URL:", img_url)
            links = re.findall('<a .*?href="(.*?)"', content)
            for link in links:
                print("Link:", link)
        else:
            print("Failed to retrieve web page")
    except requests.exceptions.RequestException as e:
        print("An error occurred:", e)

# 要爬取的网站
url = "https://example.com"
crawl_website(url)

#### 优化爬虫代码，处理异常情况和重试机制

在优化爬虫代码时，我们可以加入异常处理来捕获可能出现的网络请求异常，以提高代码的稳定性。同时，我们也可以添加重试机制，确保在网络不稳定的情况下能够成功获取网页内容。

import requests
import re
import time

def crawl_website(url, max_retries=3):
    retries = 0
    while retries < max_retries:
        try:
            response = requests.get(url)
            if response.status_code == 200:
                content = response.text
                img_urls = re.findall('<img .*?src="(.*?)"', content)
                for img_url in img_urls:
                    print("Image URL:", img_url)
                links = re.findall('<a .*?href="(.*?)"', content)
                for link in links:
                    print("Link:", link)
                return
            else:
                print("Failed to retrieve web page")
        except requests.exceptions.RequestException as e:
            print("An error occurred:", e)
            retries += 1
            print("Retrying...")
            time.sleep(1)  # 等待1秒后重试

# 要爬取的网站
url = "https://example.com"
crawl_website(url)

通过以上优化后的爬虫代码，我们可以更好地处理异常情况并添加重试机制，确保能够成功爬取网页内容。