CentOS7安装与配置Elasticsearch-Logstash

“文档描述了在CentOS7系统上安装Elasticsearch和配置Logstash进行数据同步的步骤。” 在本文档中，我们将深入探讨如何在CentOS7操作系统上安装Elasticsearch 7.13.1版本以及配置Logstash实现数据同步。首先，我们需要对Elasticsearch进行安装和配置。 1. Elasticsearch的安装与配置 - 解压安装包：下载Elasticsearch的Linux x86_64版本的压缩包，然后使用`tar`命令进行解压。 ```bash tar -zvxf elasticsearch-7.13.1-linux-x86_64.tar.gz ``` - 移动到指定目录：将解压后的目录移动到`/usr/local/soft`下，并重命名为`elasticsearch-7.13.1-linux-x86_64`。 ```bash mv elasticsearch-7.13.1-linux-x86_64 /usr/local/soft/ ``` - 配置：编辑`/usr/local/soft/elasticsearch-7.13.1/config/elasticsearch.yml`文件，设置集群和节点名称，数据及日志保存路径，以及网络和HTTP端口。 ```yaml cluster.name: diyhoe-language node.name: diyhoe-language0 path.data: /usr/local/soft/elasticsearch-7.13.1/data path.logs: /usr/local/soft/elasticsearch-7.13.1/logs network.host: 0.0.0.0 http.port: 9200 ``` - 集群初始化节点：设置初始主节点。 ```yaml cluster.initial_master_nodes: ["diyhoe-language0"] ``` - JVM配置：调整`/usr/local/soft/elasticsearch-7.13.1/config/jvm.options`文件，设置JVM堆内存大小。 ```bash -Xms1g -Xmx1g ``` - 安全注意事项：Elasticsearch不应以root用户运行，因此需要创建新的用户和用户组。 ```bash groupadd esusers useradd -g esusers esuser0 passwd esuser0 # 设置新密码 chmod -Rvu+w /usr/local/soft/elasticsearch-7.13.1 # 授权新用户访问 ``` 2. Logstash的安装 - 导入GPG公钥：为了验证软件包的完整性，需要导入Elastic的GPG公钥。 ```bash sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch ``` - 添加仓库：创建`/etc/yum.repos.d/es-logstash.repo`文件并添加Elastic的YUM仓库信息。 ```ini [logstash-7.x] name=Elastic repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm ``` - 安装Logstash：通过YUM仓库安装Logstash。 ```bash sudo yum install logstash ``` 完成上述步骤后，Elasticsearch和Logstash已成功安装。接下来，需要配置Logstash的输入、过滤和输出插件，以便从源数据中收集信息，进行处理，并将结果推送到Elasticsearch集群。例如，可以使用Filebeat作为输入源，配置相应的JSON解析器作为过滤器，最后将数据发送至Elasticsearch的输出插件。 在实际环境中，Logstash的数据同步配置会根据具体需求有所不同，可能涉及多种数据源、复杂的过滤规则和多个目标Elasticsearch索引。务必根据实际情况调整Logstash的配置文件（通常位于`/etc/logstash/conf.d/`目录下）。 在启动和监控Elasticsearch和Logstash时，确保遵循最佳实践，如定期备份，监控系统性能，以及根据需要调整资源分配。同时，了解Kibana（Elastic Stack的一部分）可以提供可视化的数据分析和管理界面，帮助更好地管理和理解收集到的数据。