scrapy更换代理ip

在Scrapy中更换代理IP可以通过设置下载中间件来实现。具体步骤如下：

1. 创建一个代理IP池，可以从免费代理网站上获取，也可以购买付费代理IP。

2. 创建一个下载中间件类，用于设置代理IP。可以在settings.py中设置下载中间件类的优先级。

   DOWNLOADER_MIDDLEWARES = {
       'myproject.middlewares.MyCustomDownloaderMiddleware': 543,
   }

3. 在下载中间件类中实现设置代理IP的方法。可以在请求中添加代理IP，也可以通过修改请求头来设置代理IP。

   import random

   class MyCustomDownloaderMiddleware(object):
       def process_request(self, request, spider):
           # 随机选择一个代理IP
           proxy = random.choice(PROXY_POOL)
           # 设置代理IP
           request.meta['proxy'] = 'http://' + proxy
           # 设置User-Agent，防止被代理服务器识别出爬虫
           request.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'

4. 将下载中间件类保存到middlewares.py文件中，并将代理IP池保存到settings.py文件中。

   PROXY_POOL = [
       '1.2.3.4:5678',
       '2.3.4.5:6789',
       '3.4.5.6:7890',
   ]

   DOWNLOADER_MIDDLEWARES = {
       'myproject.middlewares.MyCustomDownloaderMiddleware': 543,
   }

5. 运行Scrapy爬虫，代理IP会在每次请求时随机选择。