ELK Stack 7.2.1安装与配置全攻略

"ELK(即Elasticsearch, Logstash, Kibana)是一个流行的开源日志管理和分析套件，广泛用于收集、解析、存储和可视化来自不同来源的日志数据。此文档提供了一个详细的安装和配置流程，适用于Elasticsearch 7.2.1版本，该版本需要兼容的JDK 11环境。" Elasticsearch 是一个高性能的分布式搜索引擎，支持实时分析和大数据量的存储。在安装ES之前，确保系统环境满足以下要求： 1. **Java Development Kit (JDK)**: 安装JDK 11，因为ES 7.2.1与这个版本兼容。安装完成后，验证JDK是否正确安装并设置`JAVA_HOME`环境变量。 2. **非root用户**: ES 不推荐在root用户下运行，因此需要创建一个新用户（如"zway"）并为其分配权限。创建用户并设置密码后，使用`chown`命令将ES相关的目录权限赋予新用户。 接下来是ES的系统参数调整： 1. **文件打开限制**: 在`/etc/security/limits.conf`中增加软硬限制，以允许ES处理大量文件描述符。设置`*soft nofile 65536`和`*hard nofile 65536`。 2. **进程限制**: 同样在`/etc/security/limits.conf`中，增加软硬限制以允许ES管理更多进程，设置`*soft nproc 4096`和`*hard nproc 4096`。 3. **内存映射数量**: 在`/etc/sysctl.conf`中添加`vm.max_map_count=655360`，然后执行`sysctl -p`使改动生效。这是为了确保ES能够处理大量的内存映射区域。 ES的配置文件（通常位于`/etc/elasticsearch/`）是关键步骤，需要关注以下几点： 1. **网络设置**: 配置监听地址和端口，如`network.host`和`http.port`，确保ES可以被其他服务访问。 2. **路径设置**: 指定数据和日志目录，例如`path.data`和`path.logs`，在此案例中为`/opt/elasticsearch-data`和`/opt/elasticsearch-log`，并预先创建并授权给非root用户。 3. **内存分配**: 根据服务器资源设定`bootstrap.memory_lock`以锁定内存，避免因交换导致性能下降。 4. **集群名称**: 设置`cluster.name`以区分多个ES实例。 5. **其他高级设置**: 如索引分片数(`index.number_of_shards`)、副本数(`index.number_of_replicas`)以及安全性和监控相关设置。 Logstash是数据收集和处理工具，它接收来自各种源的日志，进行过滤和转换，然后发送到Elasticsearch。配置Logstash涉及输入插件（如`file`或`syslog`）、过滤插件（如`grok`进行日志解析）和输出插件（如`elasticsearch`，指向ES实例）。 Kibana是数据可视化界面，用于查询、分析和展示存储在Elasticsearch中的数据。安装完成后，配置`server.host`以指定监听地址，`elasticsearch.url`连接到ES集群，并根据需要设置其他UI和安全选项。 完成所有配置后，启动Elasticsearch、Logstash和Kibana服务，并通过Kibana界面验证数据是否正确流入和可视化。确保所有服务运行正常，无错误日志，并根据需要调整配置以优化性能和稳定性。定期更新ELK堆栈以获取最新特性、性能改进和安全补丁。