python爬虫86
时间: 2023-08-28 15:23:12 浏览: 38
你可以使用Python编写爬虫来访问86代理网站并获取代理IP。以下是一个简单的示例代码:
```python
import requests
def get_proxy():
url = 'http://www.86ip.cn/api/?action=commonSpider&count=10&type=2'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
# 解析响应获取代理IP
proxy_list = response.json().get('data')
if proxy_list:
proxies = [f"{proxy['ip']}:{proxy['port']}" for proxy in proxy_list]
return proxies
else:
return None
else:
return None
# 调用函数获取代理IP列表
proxies = get_proxy()
if proxies:
for proxy in proxies:
print(proxy)
```
这个示例代码会访问86代理网站的API接口,获取10个类型为2的代理IP。你可以根据实际需要修改参数和解析方式。请注意,这只是一个简单示例,实际上你可能还需要处理一些反爬虫机制或其他异常情况。同时,这些免费代理IP的稳定性和可用性可能较低,建议谨慎使用。