python爬虫代理服务器

使用代理服务器爬取网页可以有效避免被反爬虫策略封杀IP地址。以下是使用Python爬虫代理服务器的步骤：

1. 导入requests库和random库。

import requests
import random

2. 定义代理服务器列表。

proxies = [
    'http://1.1.1.1:1111',
    'http://2.2.2.2:2222',
    'http://3.3.3.3:3333',
    # ...
]

3. 定义请求头信息。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

4. 定义请求URL。

url = 'http://www.example.com'

5. 使用random库随机选择一个代理服务器，并发送请求。

proxy = random.choice(proxies)
response = requests.get(url, headers=headers, proxies={'http': proxy})

其中，`proxies={'http': proxy}`表示使用HTTP代理服务器，`proxy`为随机选择的代理服务器地址。

完整代码如下：

import requests
import random

proxies = [
    'http://1.1.1.1:1111',
    'http://2.2.2.2:2222',
    'http://3.3.3.3:3333',
    # ...
]

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
url = 'http://www.example.com'

proxy = random.choice(proxies)
response = requests.get(url, headers=headers, proxies={'http': proxy})

注意，代理服务器需要在爬虫运行之前准备好，否则会出现代理服务器不可用的情况。