requests爬虫使用代理IP

在Python中使用requests库进行网络爬虫时，有时候需要设置代理IP，这通常是为了隐藏真实IP地址、提高访问速度或者规避某些网站的反爬策略。以下是使用代理IP的基本步骤：

1. 首先，你需要获取到一个有效的代理IP列表，可以从第三方代理服务商处购买，或者使用免费的公共代理服务，如FreeProxyLists等，但要注意合法性和稳定性。

2. 使用Python的requests库中的`proxies`参数。创建一个字典，将'http'和'https'协议对应的URL前缀映射到代理IP地址，例如：

proxies = {
    'http': 'http://your_proxy_ip:port',  # 或者 'https://your_proxy_ip:port'
}

这里的`your_proxy_ip`替换为实际的代理IP，`port`是代理服务器监听的端口。

3. 然后，在发起HTTP请求时，将这个代理字典传递给`requests.get()`或`requests.post()`等函数：

response = requests.get('http://target_url', proxies=proxies)

4. 如果代理IP池很大或者需要动态切换，还可以考虑使用第三方库如`fake_useragent`结合`rotating_proxies`来管理代理IP。