快速搭建快速搭建ELK日志分析系统日志分析系统
官网地址:https://www.elastic.co/cn/
官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
安装指南:https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html
ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。
Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache
Lucene搜索引擎库之上。
Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括
syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。
Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据,不仅允许用户创建他们自己的
数据的定制仪表板视图,还允许他们以特殊的方式查询和过滤数据
主要解决思路:建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满
足了很多场合的应用。目前主流的一种日志系统。
环境准备:环境准备:
关闭防火墙、关闭 selinux
systemctl stop firewalld.service
setenforce
服务器服务器 安装部署安装部署
10.0.0.21 jdk环境、elasticsearch、kibana
10.0.0.22 jdk环境、logstash
所需安装包(可下载):所需安装包(可下载):
jdk-8u131-linux-x64_.rpm
elasticsearch-6.6.2.rpm
链接
kibana-6.6.2-x86_64.rpm
链接
logstash-6.6.0.rpm
链接
开始部署开始部署
1.安装安装 jdk 环境环境
[root@fp-22 ELK]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
2.安装安装 elasticsearch
[root@fp-21 ELK]# yum -y install elasticsearch-6.6.2.rpm
Loaded plugins: fastestmirror
……
Installed:
elasticsearch.noarch 0:6.6.2-1
Complete!
修改配置文件,打开主机修改配置文件,打开主机IP和端口的注释,将主机和端口的注释,将主机IP修改为自己的修改为自己的IP,我这里是,我这里是10.0.0.21
[root@fp-21 elasticsearch]# vim elasticsearch.yml
54 #
55 network.host: 10.0.0.21
56 #
59 http.port: 9200
60 #
保存退出,启动服务保存退出,启动服务
[root@fp-21 elasticsearch]# vim elasticsearch.yml
此时可以通过看日志来判断服务是否启动此时可以通过看日志来判断服务是否启动
[root@fp-21 ~]# tail -f /var/log/elasticsearch/elasticsearch.log
……
[2020-02-12T22:22:32,409][INFO ][o.e.n.Node ] [9ITBrSO] started
[2020-02-12T22:22:33,905][INFO ][o.e.l.LicenseService ] [9ITBrSO] license [da7afc9e-0e8f-435c-b861-0e2d60a8fec5] mode [basic] - valid
通过查看,日志显示已经启动,便可以去查端口是否启动通过查看,日志显示已经启动,便可以去查端口是否启动、
[root@fp-21 elasticsearch]# ss -lntp |grep java
LISTEN 0 128 ::ffff:10.0.0.21:9200 :::* users:(("java",pid=9525,fd=191))
LISTEN 0 128 ::ffff:10.0.0.21:9300 :::* users:(("java",pid=9525,fd=183))
配置配置 elasticsearch,启动完毕,启动完毕
3.安装安装 logstash
[root@fp-22 ELK]# yum -y install logstash-6.6.0.rpm
Loaded plugins: fastestmirror
……
评论0