python的scrapy-redis分布式部署，请写出全部代码

Scrapy-Redis是一个用于Scrapy爬虫项目管理和分布式调度的中间件插件。它允许你将待抓取的URL存储到Redis数据库，并通过Redis进行请求队列的管理。以下是一个简单的示例，展示了如何配置Scrapy项目使用Scrapy-Redis进行分布式部署：

首先，你需要安装`scrapy`、`scrapy-redis`和`redis`库：

pip install scrapy scrapy-redis redis

然后，在Scrapy项目的`settings.py`文件中添加必要的配置：

# settings.py
SPIDER_MIDDLEWARES = {
    'scrapy_redis.spiders.RedisSpiderMiddleware': 500,
}

ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300,
}

# Redis连接信息
REDIRECT_URL_KEY = "redirect_urls"
DOWNLOADER_MIDDLEWARES = {
    'scrapy_redismiddlewares.download.RedisDownloaderMiddleware': 700,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,  # 关闭HTTP代理中间件，如果不需要的话
}

# 配置Redis
RETRY_TIMES = 5  # 设置最大重试次数
EXTENSIONS = {
    'scrapy_redis.extensions.RedisLogExtension': 800,
}
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True  # 保存调度信息到持久化内存
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.PriorityQueue"  # 优先级队列

# 如果你想使用轮询模式，可以修改为下面的设置
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.FifoQueue"

# 连接Redis服务器
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
REDIS_DB = 0

最后，确保你的爬虫继承了`RedisSpider`，并在其中定义好开始抓取的URL列表：

# spiders.py
from scrapy_redis.spiders import RedisSpider
from scrapy.http import Request

class MySpider(RedisSpider):
    name = 'myspider'
    redis_key = 'my:start_urls'

    def start_requests(self):
        urls = self.redis.get(self.redis_key).decode('utf-8').splitlines()
        for url in urls:
            yield Request(url)

这样就完成了一个基本的Scrapy-Redis分布式部署配置。启动爬虫时，你可以从Redis中读取URL，然后它们会被分发到各个下载器实例进行抓取。

注意：实际使用时，你需要根据自己的需求调整上述配置，例如更改Redis的连接参数、队列类型等。