Filebeat配置指定ES索引及Kibana日志展示教程

"12filebeat指定es创建索引的名称并在kibana上展示日志数据" Filebeat是 Elastic Stack 中的数据收集工具，用于实时监控和传输日志数据到 Elasticsearch 或其他下游系统如 Logstash。在多应用环境中，为了便于管理和分析不同应用的日志，我们需要配置Filebeat来指定每个应用日志对应的索引名称。本文档主要讲解如何配置Filebeat，使其根据不同的应用服务创建不同的索引，并在Kibana中展示这些日志数据。 ### 1. 指定索引库名称的重要性 在默认情况下，Filebeat会将所有收集到的日志合并到一个通用的索引（例如：filebeat-xxx）中。如果一台服务器上运行了多个应用服务，如Tomcat、Nginx、Redis等，不进行特定的配置，会导致日志混杂，无法快速定位和分析特定应用的问题。因此，通过指定索引库名称，可以确保每个应用的日志独立存储，便于后期查询和分析。 ### 2. 配置文件详解 Filebeat的配置主要包含以下几个部分： - `filebeat.inputs`: 这里定义了Filebeat要收集的日志来源。`type: log` 表示我们要收集的是日志文件。 - `enabled: true`: 启用该输入，使得Filebeat开始收集和发送日志。 - `paths`: 定义了要监控的日志文件路径，例如 `/var/log/nginx/access.log` 和 `/var/log/nginx/error.log` 是Nginx的日志文件。 - `fields`: 添加额外的字段信息，这里我们添加了一个名为 `index` 的字段，值为 `nginx`，用于标识这些日志属于Nginx服务。 - `json.keys_under_root` 和 `json.overwrite_keys`: 如果日志是JSON格式，这两个设置可以帮助Filebeat正确解析它们。 - `output.elasticsearch`: 指定日志要发送到的Elasticsearch集群地址。 - `indices`: 定义了索引信息，`-index:"elk-nginx-%{+yyyy.MM.dd}"` 指定了索引的名称格式，其中 `%{+yyyy.MM.dd}` 是时间模板，表示每天创建一个新的索引。 - `when.equals`: 根据 `fields.index` 的值进行条件判断，这里匹配 `index: "nginx"` 的日志，将其存储到 `elk-nginx` 索引中。 ### 3. 配置多个应用日志收集 如果需要收集多个应用的日志，可以在配置文件中添加更多的 `filebeat.inputs` 部分，为每个应用指定不同的 `paths` 和 `fields.index`。例如，对于Tomcat应用，可以添加如下配置： ```yaml - type: log enabled: true paths: - /var/log/tomcat/catalina.out fields: index: tomcat ``` 这将创建一个名为 `elk-tomcat-%{+yyyy.MM.dd}` 的索引来存储Tomcat的日志。 ### 4. 在Kibana中展示日志数据 一旦Filebeat将日志成功发送到Elasticsearch，就可以在Kibana中创建仪表板来可视化这些数据。通过选择对应的索引模式（如 `elk-nginx-*` 或 `elk-tomcat-*`），可以创建搜索、图表和仪表板，以便对不同应用的日志进行深入分析。 通过精细配置Filebeat，我们可以有效地管理多应用环境下的日志数据，方便在Elasticsearch和Kibana中进行高效分析和故障排查。这不仅提高了日志管理的效率，也为日后的日志分析和维护提供了极大的便利。