【基础】代理IP和用户代理：保护爬虫身份

# 2.1 代理IP的类型和原理

代理IP根据其匿名程度可分为以下三种类型：

- **透明代理：**这种代理不会隐藏用户的真实IP地址，而是将其转发给目标服务器。因此，目标服务器可以看到用户的真实IP地址。
- **匿名代理：**这种代理会隐藏用户的真实IP地址，但会显示一个不同的IP地址。目标服务器无法看到用户的真实IP地址，但可以看到匿名代理的IP地址。
- **高匿代理：**这种代理会隐藏用户的真实IP地址，并且不会显示任何其他IP地址。目标服务器无法看到用户的真实IP地址或匿名代理的IP地址。

# 2. 代理IP的理论与实践

### 2.1 代理IP的类型和原理

代理IP是一种介于客户端和目标服务器之间的中介服务器，它可以隐藏客户端的真实IP地址，并代表客户端向目标服务器发起请求。根据代理IP的透明度，可以将其分为三种类型：

#### 2.1.1 透明代理

透明代理是最简单的代理类型，它不会隐藏客户端的真实IP地址，目标服务器可以识别出客户端正在使用代理。透明代理主要用于负载均衡和网络管理等场景。

#### 2.1.2 匿名代理

匿名代理会隐藏客户端的真实IP地址，但会向目标服务器发送一个特殊的HTTP头信息，表明它是一个代理。目标服务器可以知道客户端正在使用代理，但无法识别出客户端的真实IP地址。匿名代理常用于隐私保护和规避网站限制。

#### 2.1.3 高匿代理

高匿代理是匿名代理的增强版，它不会向目标服务器发送任何表明它是一个代理的HTTP头信息。目标服务器无法识别出客户端正在使用代理，因此高匿代理具有更高的匿名性。高匿代理常用于网络安全测试和数据采集等场景。

### 2.2 代理IP的获取和使用

#### 2.2.1 代理IP的获取渠道

获取代理IP的渠道有很多，包括：

- **免费代理网站：**提供免费的代理IP列表，但这些代理IP的质量和稳定性往往较差。
- **付费代理服务：**提供高匿代理IP，具有更高的稳定性和速度，但需要付费。
- **自行搭建代理服务器：**可以自行搭建代理服务器，但需要具备一定的技术能力和服务器资源。

#### 2.2.2 代理IP的验证和管理

获取代理IP后，需要对其进行验证和管理，以确保代理IP的可用性和稳定性。代理IP的验证可以借助代理IP验证工具或网站进行，管理则包括代理IP的轮换、更新和监控。

import requests

# 代理IP验证
def verify_proxy(proxy):
    try:
        response = requests.get('https://www.baidu.com', proxies={'http': proxy})
        if response.status_code == 200:
            return True
        else: