CentOS 8: 一步到位搭建Elk+Filebeat+Kafka日志系统全攻略

本文档详细介绍了在Linux环境下搭建一套完整的ELK (Elasticsearch, Logstash, Kibana) 日志系统，结合Filebeat收集和传输日志到Kafka，以实现高效、可扩展的日志管理。以下是整个过程的详细步骤： 1. **基础安装与文件准备**: - 使用最新版的ELK组件：filebeat-8.4.1, kafka_2.12-2.8.1, apache-zookeeper-3.7.1, Elasticsearch-8.4.1, Logstash-8.4.1, 和 Kibana-8.4.1。 - 下载链接针对的是CentOS 8.2 64位系统，确保根据实际环境调整。 2. **端口占用统计**: - Filebeat默认占用5044端口用于接收日志，而Kafka监听的是9092端口（通常生产者用9092，消费者用9092）。 - ZooKeeper监听的是2181端口，另外还可能使用2180作为备份。 - Elasticsearch监听的是9200端口，Logstash是9600，Kibana则是5601。 3. **安装与配置步骤**: - **安装Zookeeper**: - 解压缩并启动Zookeeper，配置文件`zoo.cfg`需调整以适应系统需求。 - **安装Kafka**: - 解压缩Kafka，修改`server.properties`设置，启动服务。 - 可以执行一些基本的Kafka命令，如查看topic和启动生产者/消费者。 - **安装Filebeat**: - 解压并配置filebeat.yml，确保正确连接到Elasticsearch。 - 启动Filebeat，监控指定的文件或进程产生的日志。 - **搭建Elasticsearch**: - 解压并配置Elasticsearch，包括添加新用户、设置证书等。 - 启动Elasticsearch并关注相关提示信息。 - **安装Logstash**: - 解压Logstash，将Elasticsearch的证书复制到相应位置。 - 配置logstach.conf，并启动Logstash。 - **安装Kibana**: - 解压Kibana，分配权限，配置kibana.yml，启动Kibana，并通过5601端口访问。 4. **Token管理**: - Kibana初始登录需要使用Elasticsearch提供的token，如果过期，则需要重新生成并用于登录。 在整个搭建过程中，文档强调了每个组件之间的交互和配置细节，以确保日志的完整性和系统的稳定运行。这是一套全面的指南，适合对ELK-Kafka系统有一定了解但希望进一步实践的IT专业人士。通过这个架构，企业可以更好地监控、分析和存储其应用程序的日志数据，从而提高运维效率和故障排查能力。