logstash mysql到es
时间: 2023-11-27 19:03:36 浏览: 33
Logstash是一个开源的服务器端数据处理管道,它可以从多个来源采集数据,并将数据转换后发送到指定的存储位置,比如ElasticSearch、JSON或MySQL等。具体到MySQL数据导入ElasticSearch的过程,可以通过以下配置实现:
1. 在Logstash的配置文件中,使用jdbc input插件连接到MySQL数据库,并指定需要导入的数据表。配置示例如下:
```
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://10.18.100.57:3306/eco"
jdbc_user => "eco"
jdbc_password => "Eco2019@"
jdbc_driver_library => "/home/elastic/es/logstash-6.6.1/plugins/mysql-connector-java-5.1.45.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
statement => "select * from eco_mnt_air_monitor"
schedule => "* * * * *"
type => "supermap"
}
}
```
2. 在配置文件中定义输出到ElasticSearch的配置,包括ElasticSearch集群地址、存放数据的索引名等。配置示例如下:
```
output {
elasticsearch {
hosts => ["10.18.101.52:9200","10.18.101.53:9200","10.18.101.54:9200","10.18.101.81:9200"]
index => "jsons"
document_id => "%{id}"
user => "elastic"
}
}
```
这样,Logstash就可以将MySQL中的数据导入到ElasticSearch中了。
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)