Filebeat配置收集错误日志与普通日志

"15filebeat收集错误日志并与普通日志并存.md" 在日志管理领域，收集和分析错误日志是至关重要的，因为它们提供了系统或应用程序出现问题的线索。Filebeat是一款轻量级的日志采集工具，常用于从各种来源收集日志数据，并将其转发到诸如Elasticsearch这样的日志存储和分析平台。本文档描述了如何配置Filebeat来分别收集错误日志和普通日志，并将它们并存于不同的Elasticsearch索引中。 在上述配置中，Filebeat被设置为监听多个日志文件，包括`/var/log/nginx/www_access.log`、`/var/log/nginx/bbs_access.log`、`/var/log/nginx/blog_access.log`以及`/var/log/nginx/error.log`。对于每个输入，都有一个特定的`type`和`index`，以区分不同类型的日志。`tags`字段用于标记每种日志类型，例如`www`、`bbs`、`blog`和`error`，这样可以根据这些标签在Elasticsearch中创建对应的索引。 日志解析是通过`json.keys_under_root`和`json.overwrite_keys`参数完成的，它们确保JSON格式的日志数据可以正确地解析并映射到Elasticsearch文档中。`json.keys_under_root`将JSON对象的所有键作为顶级字段，而`json.overwrite_keys`则允许覆盖已存在的字段。 输出部分配置了Elasticsearch作为日志的接收端，`hosts`字段指定了Elasticsearch服务器的地址。`indices`部分定义了如何根据日志的`tags`创建不同的索引，例如`nginx-www-access-%{+yyyy.MM.dd}`、`nginx-bbs-access-%{+yyyy.MM.dd}`、`nginx-blog-access-%{+yyyy.MM.dd}`和`nginx-error-%{+yyyy.MM.dd}`。这些索引名称包含日期通配符，确保每天的日志数据都会被存入新的索引，便于管理和查询。 最后，`when.contains`条件语句用于确保日志数据被发送到正确的索引。例如，带有`www`标签的日志将被写入`nginx-www-access`索引，以此类推。 执行`systemctl restart filebeat`命令后，新配置的Filebeat将开始按照指定规则收集和转发日志。通过检查Elasticsearch中的索引，可以确认错误日志是否已成功收集并存储。 这个配置示例展示了如何利用Filebeat的灵活性来处理不同类型和来源的日志，这对于监控、故障排查和日志分析是非常有用的。通过对错误日志的单独收集，我们可以更专注于系统异常和问题，从而提高运维效率和问题诊断能力。