kafka 分区平衡脚本 demo

以下是一个Kafka分区平衡脚本的示例，它使用Kafka自带的工具来完成分区平衡：

#!/bin/bash

# Kafka broker列表
BROKERS=broker1:9092,broker2:9092,broker3:9092

# 要平衡的主题
TOPIC=my_topic

# 分区数
PARTITIONS=10

# 每个broker的最大分区数
MAX_PARTITIONS_PER_BROKER=3

# 获取每个broker当前的分区数量
PARTITIONS_PER_BROKER=$(kafka-topics --zookeeper zk_host:2181 --describe --topic $TOPIC | grep -e 'Partition:' | awk '{print $2}' | tr ',' '\n' | awk -F ':' '{print $2}' | sort | uniq -c | awk '{print $1}')

# 计算每个broker应该有的分区数
TARGET_PARTITIONS_PER_BROKER=$((($PARTITIONS+$MAX_PARTITIONS_PER_BROKER-1)/$MAX_PARTITIONS_PER_BROKER))

# 计算需要移动的分区数
PARTITIONS_TO_MOVE=$(($TARGET_PARTITIONS_PER_BROKER*$MAX_PARTITIONS_PER_BROKER-$PARTITIONS))

# 如果需要移动的分区数大于0，则进行分区平衡
if [ $PARTITIONS_TO_MOVE -gt 0 ]; then
    # 获取当前分区最少的broker
    SOURCE_BROKER=$(kafka-topics --zookeeper zk_host:2181 --describe --topic $TOPIC | grep -e 'Partition:' | awk '{print $2}' | tr ',' '\n' | awk -F ':' '{print $1,$2}' | sort -k 2 | awk '{print $1}' | head -n 1)

    # 获取当前分区最多的broker
    DEST_BROKER=$(kafka-topics --zookeeper zk_host:2181 --describe --topic $TOPIC | grep -e 'Partition:' | awk '{print $2}' | tr ',' '\n' | awk -F ':' '{print $1,$2}' | sort -k 2 | awk '{print $1}' | tail -n 1)

    # 计算需要移动的分区数
    PARTITIONS_TO_MOVE=$(($PARTITIONS_TO_MOVE<$PARTITIONS_PER_BROKER[$SOURCE_BROKER]? $PARTITIONS_TO_MOVE:$PARTITIONS_PER_BROKER[$SOURCE_BROKER]))

    # 移动分区
    kafka-reassign-partitions --zookeeper zk_host:2181 --reassignment-json-file <(echo "{\"version\":1,\"partitions\":[{\"topic\":\"$TOPIC\",\"partition\":$PARTITION_TO_MOVE,\"replicas\":[$DEST_BROKER]}]}") --execute
fi

请注意，这只是一个示例脚本，您需要根据您的特定情况进行修改。例如，您可能需要更改BROKERS，TOPIC，PARTITIONS和MAX_PARTITIONS_PER_BROKER变量的值。