python获取https://www.zdaye.com/free/网页的免费代理IP
时间: 2024-10-20 15:16:39 浏览: 24
在Python中,我们可以使用requests库配合第三方如FreeProxyList等服务来获取HTTP或HTTPS代理IP。以下是一个简单的示例,不过请注意,直接抓取网站的数据可能会有法律风险,特别是对于需要用户授权或限制爬取的网站:
```python
import requests
from fake_useragent import UserAgent
# 首先安装必要的库,如果还没安装:
# pip install requests fake-useragent
def get_free_proxy():
url = "https://www.zdaye.com/free/" # 替换为你想要的代理IP列表页面URL
headers = {'User-Agent': UserAgent().random} # 添加随机User-Agent模拟浏览器访问
try:
response = requests.get(url, headers=headers, timeout=5)
if response.status_code == 200:
proxy_list = response.text.splitlines() # 假设网页内容是以换行符分隔的IP地址
free_proxies = [proxy.strip() for proxy in proxy_list if proxy] # 去除空行并存储有效IP
return free_proxies
else:
print(f"请求失败,状态码:{response.status_code}")
except requests.exceptions.RequestException as e:
print(f"请求出错:{str(e)}")
free_proxies = get_free_proxy()
if free_proxies:
print("获取到的免费代理IP:", free_proxies)
else:
print("未找到可用的免费代理IP.")
阅读全文