使用python获取ip代理网站中的ip并保存到redis数据库中创建代理池

在Python中，你可以通过网络爬虫技术获取IP代理网站的数据，然后存储到Redis数据库中作为代理池。以下是简要步骤：

1. **抓取IP代理**:
- 首先，你需要选择一个提供API或者HTML页面公开访问的IP代理网站。例如，FreeProxyLists、SOCKS代理等。使用requests库可以发送HTTP请求获取网页内容。

import requests
from bs4 import BeautifulSoup

url = "http://example.com/ip-list"  # 替换为实际的IP代理列表URL
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

2. **解析IP信息**:
- 使用BeautifulSoup解析HTML，提取出有效的IP地址和端口。这通常涉及到查找特定的HTML标签或CSS选择器。

ips = soup.find_all('div', class_='ip')  # 根据HTML结构假设每个IP在一个'div'元素里
proxies = [{'ip': ip.text, 'port': port.text} for ip, port in zip(ips, ips.find_all_next('port'))]

3. **连接Redis数据库**:
- 如果你还没有安装redis，需要先安装(`pip install redis`)，然后初始化一个Redis客户端。

import redis
redis_client = redis.Redis(host='localhost', port=6379, db=0)  # 可能需要修改主机名和端口号

4. **保存到Redis**:
- 使用`redis_client.set()`将IP添加到键值对中，可以设置过期时间来避免长期无效的代理。

for proxy in proxies:
    key = f"proxy_{proxy['ip']}:{proxy['port']}"
    redis_client.set(key, proxy['ip'], ex=3600)  # 设置过期时间为1小时

5. **创建代理池**:
- 实际上，为了高效地从Redis取出并管理这些代理，你可以封装一个函数，每次从缓存中随机获取一个可用的代理并更新其状态。

def get_random_proxy():
    while True:
        proxy_key = redis_client.randomkey()  # 获取一个随机的键
        if not proxy_key:
            break
        proxy_data = redis_client.get(proxy_key)
        yield proxy_data.decode()

记得检查代码是否符合目标IP代理网站的服务条款，并定期更新IP数据，因为免费代理可能会有较高的失效率。