kafka 副本重分配 步骤 shell

以下是使用 Kafka 提供的工具进行副本重分配的 shell 脚本示例：

# 指定 Kafka 相关配置
export KAFKA_HOME=/opt/kafka
export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/kafka/config/kafka_client_jaas.conf"

# 指定要重分配的 topic 和分区数
topic=my_topic
partitions=10

# 计算新的副本分配方案
$KAFKA_HOME/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181/kafka --topics-to-move-json "{\"$topic\":[{\"partition\":0,\"replicas\":[1,2,3]},{\"partition\":1,\"replicas\":[2,3,4]},{\"partition\":2,\"replicas\":[3,4,5]}]}" --generate

# 将新的副本分配方案保存到文件中
echo -n 'yes' | $KAFKA_HOME/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181/kafka --reassignment-json-file reassignment.json --execute

# 监控副本重分配进度
$KAFKA_HOME/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181/kafka --reassignment-json-file reassignment.json --verify

# 完成副本重分配后，将新的副本分配方案上传到 ZooKeeper
$KAFKA_HOME/bin/kafka-reassign-partitions.sh --zookeeper localhost:2181/kafka --reassignment-json-file reassignment.json --execute

上述脚本中，`kafka-reassign-partitions.sh` 工具用于计算、执行和监控副本重分配操作。其中，`--topics-to-move-json` 参数用于指定要重分配的 topic 和分区号，`--generate` 参数表示生成新的副本分配方案，`--reassignment-json-file` 参数表示保存新的副本分配方案的文件路径，`--execute` 参数表示执行新的副本分配方案，`--verify` 参数表示监控副本重分配进度。