python爬虫 代理ip怎么使用
时间: 2023-10-17 07:05:17 浏览: 135
Python爬虫使用代理IP的实现
5星 · 资源好评率100%
使用代理 IP 的步骤如下:
1. 获取代理 IP:可以从代理 IP 提供商处购买或者免费获取(免费代理 IP 可能不太稳定)。
2. 设置代理 IP:使用 Python 的 requests 库发送请求时,可以通过设置 proxies 参数来指定使用代理 IP。例如:
```python
import requests
proxies = {
'http': 'http://<代理IP>:<代理端口>',
'https': 'https://<代理IP>:<代理端口>'
}
response = requests.get('http://www.example.com', proxies=proxies)
```
其中,`<代理IP>` 和 `<代理端口>` 分别替换为代理 IP 和代理端口号。
3. 验证代理 IP 是否可用:可以使用 requests 库发送一个简单的请求来验证代理 IP 是否可用。例如:
```python
import requests
proxies = {
'http': 'http://<代理IP>:<代理端口>',
'https': 'https://<代理IP>:<代理端口>'
}
try:
response = requests.get('http://www.example.com', proxies=proxies, timeout=5)
if response.status_code == 200:
print('代理 IP 可用')
else:
print('代理 IP 不可用')
except:
print('代理 IP 不可用')
```
其中,`timeout` 参数用于设置请求超时时间。如果请求超时,则认为代理 IP 不可用。
阅读全文