scrapy的IP池搭建

Scrapy的IP池搭建主要有两种方法：使用代理中间件和使用Tor代理。

使用代理中间件：

1. 安装代理池管理工具，如haipproxy：

pip install haipproxy

2. 在项目中创建代理中间件，在settings.py文件中添加：

DOWNLOADER_MIDDLEWARES = {
    'haipproxy.middleware.HaipProxyMiddleware': 543,  # 数字越小，优先级越高
}

3. 配置代理池：

HAIPROXY_CONFIG = {
    "proxies": [
        {"ip": "127.0.0.1", "port": "8888"},
        {"ip": "127.0.0.1", "port": "8889"},
        ...
    ],
    "validate_url": "http://httpbin.org/ip",
    "ban_code": [503, 502],
    "strategy": "rotate",
    "timeout": 5,
}

使用Tor代理：

1. 安装Tor服务：

sudo apt-get install tor

2. 在settings.py文件中添加：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
    'scrapy_tor.middlewares.TorProxyMiddleware': 100,
}

TOR_PROXY_PORT = 9050
TOR_CONTROL_PORT = 9051

3. 启动Tor服务：

sudo service tor start