在Ubuntu上部署ELK_ELFK(7.3)日志系统

# 1. 简介

## 1.1 什么是ELK/ELFK日志系统

ELK/ELFK日志系统是由Elasticsearch、Logstash和Kibana（以及可能的Filebeat）组成的一系列开源工具，用于实时地收集、存储、搜索、分析和可视化日志数据。Elasticsearch是一个分布式的实时搜索和分析引擎，Logstash是一个用于日志数据的收集、过滤和转发的工具，Kibana则是一个用于日志数据可视化和管理的界面。

ELK/ELFK系统能帮助企业实时地收集和分析日志数据，从而快速定位和解决问题，监控系统健康状态，以及发现潜在的安全威胁。

## 1.2 为什么选择在Ubuntu上部署

Ubuntu作为一个流行的Linux发行版，具有简单易用、稳定可靠的特点，同时有丰富的软件支持和活跃的社区。因此，在Ubuntu上部署ELK/ELFK日志系统能够为用户提供良好的操作体验和技术支持。

接下来，我们将介绍在Ubuntu上部署ELK/ELFK日志系统的具体步骤。

# 2. 系统准备

在部署ELK/ELFK日志系统之前，我们需要进行一些系统准备工作。这包括硬件要求、软件要求以及安装Ubuntu操作系统。

### 2.1 硬件要求

在部署ELK/ELFK日志系统之前，需要确保你的服务器满足以下硬件要求：

- 主机：至少一台主机，用于部署Elasticsearch、Logstash和Kibana。
- 内存：建议至少4 GB 的内存。如果你的日志量较大，可以考虑增加内存。
- 存储空间：建议至少50 GB 的硬盘空间，用于存储Elasticsearch 索引和日志文件。

### 2.2 软件要求

在开始部署ELK/ELFK日志系统之前，确保以下软件已经安装在你的服务器上：

- Java 开发环境：ELK/ELFK需要Java环境来运行，所以需要提前安装Java。
- Ubuntu操作系统：本文以Ubuntu为例，进行安装和配置说明。

### 2.3 安装Ubuntu

可根据以下步骤来安装Ubuntu操作系统：

1. 下载Ubuntu的ISO镜像文件，可从官方网站下载最新版本的Ubuntu。
2. 建立启动U盘或者光盘，将ISO镜像文件烧录到U盘或者光盘。
3. 将U盘或者光盘插入服务器，并启动服务器。
4. 根据屏幕上的指引，选择合适的选项进行安装。
5. 完成安装后，等待系统自动重启。
6. 登录系统，确保网络正常连接，即可进行后续的ELK/ELFK日志系统的安装和配置。

在本章中，我们完成了系统准备的工作，包括了服务器的硬件要求、软件要求，以及Ubuntu操作系统的安装。下一章将开始安装Elasticsearch。

# 3. 安装Elasticsearch

Elasticsearch 是一个实时的分布式搜索和分析引擎，通常被用作日志和事件数据的存储和分析引擎。

#### 3.1 下载和安装Elasticsearch

安装 Java 运行环境（JRE），Elasticsearch 是基于 Java 开发的，需要先安装 Java 环境。

sudo apt update
sudo apt install default-jre

下载并安装 Elasticsearch：

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-amd64.deb
sudo dpkg -i elasticsearch-7.10.0-amd64.deb

#### 3.2 配置Elasticsearch

编辑 Elasticsearch 配置文件：

sudo nano /etc/elasticsearch/elasticsearch.yml

设置集群名称（比如 "my-elasticsearch-cluster"）和节点名称（可以使用默认的）：

cluster.name: my-elasticsearch-cluster
node.name: node-1

#### 3.3 启动和测试Elasticsearch

启动 Elasticsearch 服务：

sudo systemctl start elasticsearch

检查 Elasticsearch 是否正在运行：

curl -X GET "localhost:9200/"

如果一切正常，将会返回如下类似的 JSON 响应：

{
  "name" : "node-1",
  "cluster_name" : "my-elasticsearch-cluster",
  // 其他信息...
}

现在 Elasticsearch 已经安装并成功运行在您的 Ubuntu 服务器上。

# 4. 安装Logstash

Logstash是一个开源的数据处理工具，用于收集、过滤、转换和存储数据。在ELK日志系统中，Logstash用于将日志数据从不同的来源收集并发送到Elasticsearch进行存储和索引。

#### 4.1 下载和安装Logstash

在Ubuntu上安装Logstash需要先添加Logstash的存储库。执行以下命令将存储库添加到系统中：

sudo apt-get install -y apt-transport-https
sudo apt-get install -y software-properties-common
sudo apt-add-repository -y "deb https://artifacts.elastic.co/packages/7.x/apt stable main"

添加完存储库后，更新apt缓存并安装Logstash：

sudo apt-get update
sudo apt-get install -y logstash

#### 4.2 配置Logstash

Logstash的配置文件位于/etc/logstash/conf.d/目录下，通过配置文件定义如何处理、过滤和输出日志数据。创建一个新的配置文件：

sudo nano /etc/logstash/conf.d/logstash.conf

在配置文件中，可以定义输入插件、过滤器和输出插件。以下是一个简单的配置文件示例：

input {
  file {
    path => "/var/log/syslog"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{SYSLOGTIMESTAMP:log_timestamp} %{SYSLOGHOST:log_host} %{DATA:log_program}\[%{POSINT:log_pid}\]: %{GREEDYDATA:log_message}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

上述配置文件指定了从/var/log/syslog文件中读取日志数据作为输入，并使用grok过滤器提取出时间戳、主机名、程序名、进程ID和消息内容等字段。最后，将处理后的日志数据发送到Elasticsearch进行存储，索引名称使用"logs-年月日"的格式。

#### 4.3 创建Logstash配置文件

在Logstash的配置文件中，可以定义多个输入和输出插件，并为每个插件指定相应的配置。可以根据实际需求创建不同的配置文件，比如一个用于处理系统日志，一个用于处理应用程序日志。

创建一个输入为系统日志、输出为Elasticsearch的配置文件：

sudo nano /etc/logstash/conf.d/syslog.conf

input {
  file {
    path => "/var/log/syslog"
    start_position => "beginning"
    type => "syslog"
  }
}

output {
  if [type] == "syslog" {
    elasticsearch {
      hosts => ["localhost:9200"]
      index => "syslogs-%{+YYYY.MM.dd}"
    }
  }
}

#### 4.4 启动和测试Logstash

启动Logstash服务：

sudo service logstash start

检查Logstash是否正常运行：

sudo service logstash status

如果状态显示为"active"，表示Logstash已成功启动。可以通过查看日志文件验证Logstash是否成功处理了日志数据：

sudo tail -f /var/log/logstash/logstash-plain.log

以上就是在Ubuntu上安装和配置Logstash的方法。接下来，我们将介绍如何安装和配置Kibana，以便可视化展示日志数据。

# 5. **5. 安装Kibana**

Kibana 是一个用于可视化和管理 Elasticsearch 数据的开源网页界面。在本章节中，我们将详细介绍在 Ubuntu 上安装和配置 Kibana 的步骤。

**5.1 下载和安装 Kibana**

首先，我们需要下载并安装 Kibana 的最新版本。在终端中执行以下命令以下载 Kibana：

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.11.1-amd64.deb

下载完成后，运行以下命令安装 Kibana：

sudo dpkg -i kibana-7.11.1-amd64.deb

**5.2 配置 Kibana**

安装完成后，我们需要进行一些配置来确保 Kibana 正常运行。编辑 `/etc/kibana/kibana.yml` 文件：

sudo nano /etc/kibana/kibana.yml

找到以下行并进行必要的修改：

server.host: "0.0.0.0"

这将设置 Kibana 为监听所有网络接口的访问。

保存并退出文件。

**5.3 启动和访问 Kibana 界面**

启动 Kibana 服务：

sudo systemctl start kibana

配置 Kibana 为开机自动启动：

sudo systemctl enable kibana

现在，您可以通过浏览器访问 Kibana 界面。在浏览器地址栏中输入服务器 IP 地址和 Kibana 默认的端口号 5601：

http://your_server_ip:5601

如果一切顺利，您将能够看到 Kibana 的登录界面。输入默认用户名 `elastic` 和密码 `password`，然后点击登录。

恭喜！您已成功安装和配置了 Kibana。在下一章节中，我们将讲解如何部署 ELFK 日志系统。

# 6. 部署ELFK日志系统

在本章中，我们将学习如何在Ubuntu系统上部署ELFK日志系统，包括配置Logstash和Kibana的连接，测试日志收集和展示，以及系统的维护和日常操作。

#### 6.1 配置Logstash和Kibana的连接

首先，我们需要配置Logstash与Kibana的连接，以确保日志数据能够顺利传输并在Kibana中进行展示。为此，我们需要编辑Logstash配置文件，并配置输出插件以将日志数据发送至Kibana。

# 编辑Logstash配置文件
sudo nano /etc/logstash/conf.d/01-output.conf

在配置文件中添加如下输出插件配置：

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

保存并退出配置文件，然后重启Logstash服务以使更改生效。

# 重启Logstash服务
sudo systemctl restart logstash

#### 6.2 测试日志收集和展示

接下来，我们可以测试ELFK日志系统是否能够正常收集和展示日志数据。为此，我们可以在服务器上模拟生成一些日志，并在Kibana中查看这些日志数据。

# 模拟生成日志
echo "This is a test log message" | sudo tee -a /var/log/test.log

在Kibana的界面中，创建一个新的索引模式，并选择对应的日志数据字段，然后新增一个仪表盘，就可以看到模拟生成的日志数据了。

#### 6.3 系统维护和日常操作

最后，我们需要关注ELFK日志系统的维护和日常操作。这包括定期备份和恢复数据、监控系统运行状况、及时处理日志系统的报警信息等。可以使用Elasticsearch的快照功能进行数据备份，设置告警规则以及使用Kibana的监控功能对系统的运行情况进行实时监控。

通过以上步骤，我们成功地在Ubuntu系统上部署了ELFK日志系统，并且可以进行日志收集和展示，以及系统的维护和日常操作。希望本文能帮助你顺利搭建自己的ELFK日志系统，提升日志管理和分析的效率。