清理kafka消息队列的脚本

清理Kafka消息队列的脚本通常是使用一种编程语言如Shell、Python或Scala编写，目的是为了管理Kafka的消费组偏移量，删除过期或不再需要的消息，以及维护队列的稳定性和资源利用率。这里是一个基本的Shell脚本示例，用于定期删除过期主题的消息：

#!/bin/bash

# 设置Kafka配置
KAFKA_BROKER="localhost:9092"
TOPIC="your-topic"  # 需要清理的主题
MAX_AGE=86400        # 消息保留时间(秒)，比如一天

# 使用Kafka命令行工具获取最新的消息偏移量
OFFSET=$(kafka-console-consumer.sh --bootstrap-server $KAFKA_BROKER --topic $TOPIC --from-beginning | tail -n1)

# 删除超过指定时间的消息
kafka-delete-records.sh --bootstrap-server $KAFKA_BROKER --topic $TOPIC --offset $OFFSET --max-delete-retention.ms $MAX_AGE

# 你可以添加一个循环来定期运行此脚本，例如每小时执行一次
CRON_SCHEDULE="0 * * * *"
echo "Cleaning Kafka topic: $TOPIC with script at ${CRON_SCHEDULE}"
crontab -e -u your_user << EOF
${CRON_SCHEDULE} /path/to/this/script.sh
EOF

#