ELK日志采集实战教程日志采集实战教程
概要
带着问题去看教程:
不是用logstash来监听我们的日志,我们可以使用logback配置来使用TCP appender通过TCP协议将日志发送到远程Logstash
实例。
我们可以使用Logstash指向多个日志文件。
我们可以在logstash配置文件中使用更复杂的过滤器,以根据需要执行更多操作。
我们可以使用远程ELK集群指向我们的日志文件,或者将日志推入,这在将所有应用程序部署到云中时基本上是必需的。
在logstash中创建不同的索引模式。
通过使用微服务,我们已经能够克服许多遗留问题,并且它允许我们创建稳定的分布式应用程序,并对代码,团队规模,维
护,发布周期,云计算等进行所需的控制。但它也引入了一些挑战。其他领域,例如分布式日志管理和查看在许多服务中分布
的完整事务的日志和一般的分布式调试的能力。
实际上,挑战在于微服务是相互隔离的,它们不共享公共数据库和日志文件。随着微服务数量的增加以及我们使用自动化持续
集成工具实现云部署,当我们遇到任何问题时,非常有必要对组件进行一些调试。
感谢开源运动。我们已经拥有了一系列工具,如果一起使用可以发挥魔力。一组如此受欢迎的工具是Elastic
Search,Logstash和Kibana - 一起称为ELK Stack 。它们用于实时搜索,分析和可视化日志数据。
ELK Stack
Elasticsearch是一个基于JSON的分布式搜索和分析引擎,专为水平可扩展性,最高可靠性和易管理性而设计。
Logstash是一个动态数据收集管道,具有可扩展的插件生态系统和强大的Elasticsearch协同作用。
Kibana通过UI 提供数据可视化。
ELK Stack架构
Logstash根据我们设置的过滤条件处理应用程序日志文件,并将这些日志发送到Elasticsearch。通过Kibana,我们可以在需
要时查看和分析这些日志。
ELK配置
所有这三个工具都基于JVM,在开始安装之前,请验证JDK是否已正确配置。检查标准JDK 1.8安装,JAVA_HOME并且
PATH已经完成设置。
Elasticsearch
从此下载页面下载最新版本的Elasticsearch 并将其解压缩到任何文件夹中。