logstash mysql

Logstash可以通过配置来从MySQL中收集数据并进行输出。在给出的引用中[1]，Logstash的数据输入配置（input）中包含了从MySQL和Redis中收集数据并输出的示例。

如果你使用的是较低版本的Logstash（如7.2版本），你可能无法使用7.4版本提供的预编译SQL的方法。在引用中，给出了一个使用Logstash 7.2版本的配置示例，其中通过JDBC输入插件从MySQL中选择特定条件的数据，并使用JDBC输出插件将数据发送到Elasticsearch和控制台输出。这个示例显示了如何设置数据库连接、SQL语句查询条件、预编译语句等。

安装Logstash的JDBC输出插件可以使用以下命令：

bin/logstash-plugin install logstash-output-jdbc

这个命令需要在Logstash的安装目录下执行，在引用中给出了具体的目录和命令。

总结来说，Logstash与MySQL的集成可以通过配置中的输入和输出插件进行实现。你可以根据自己的需求选择适合的Logstash版本并配置相关插件来连接MySQL数据库、定义查询条件以及将数据输出到目标位置。

相关问题

logstash mysql jar

要使用Logstash连接到MySQL数据库，您需要下载并安装MySQL JDBC驱动程序。您可以在MySQL官方网站上下载JDBC驱动程序，然后将其放置在Logstash的classpath中。

您可以按照以下步骤在Logstash中使用MySQL JDBC驱动程序：

1. 下载MySQL JDBC驱动程序并将其放置在Logstash的classpath中。

2. 在Logstash的配置文件中，使用jdbc输入插件指定要连接的MySQL数据库。

3. 配置jdbc输入插件的查询，以从MySQL数据库中检索数据。

4. 配置Logstash的输出插件，以将数据发送到您想要的目标位置。

以下是一个示例Logstash配置文件，该文件连接到名为“test”的MySQL数据库，并从名为“test_table”的表中检索数据：

input {
  jdbc {
    jdbc_driver_library => "/path/to/mysql-connector-java.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    jdbc_user => "root"
    jdbc_password => "password"
    statement => "SELECT * FROM test_table"
  }
}

output {
  stdout { codec => json_lines }
}

请注意，这只是一个示例配置文件。您需要根据您的具体要求进行修改。

logstash mysql到es

Logstash是一个开源的服务器端数据处理管道，它可以从多个来源采集数据，并将数据转换后发送到指定的存储位置，比如ElasticSearch、JSON或MySQL等。具体到MySQL数据导入ElasticSearch的过程，可以通过以下配置实现：

1. 在Logstash的配置文件中，使用jdbc input插件连接到MySQL数据库，并指定需要导入的数据表。配置示例如下：

input {
  jdbc {
    jdbc_connection_string => "jdbc:mysql://10.18.100.57:3306/eco"
    jdbc_user => "eco"
    jdbc_password => "Eco2019@"
    jdbc_driver_library => "/home/elastic/es/logstash-6.6.1/plugins/mysql-connector-java-5.1.45.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "50000"
    statement => "select * from eco_mnt_air_monitor"
    schedule => "* * * * *"
    type => "supermap"
  }
}

2. 在配置文件中定义输出到ElasticSearch的配置，包括ElasticSearch集群地址、存放数据的索引名等。配置示例如下：

output {
  elasticsearch {
    hosts => ["10.18.101.52:9200","10.18.101.53:9200","10.18.101.54:9200","10.18.101.81:9200"]
    index => "jsons"
    document_id => "%{id}"
    user => "elastic"
  }
}

这样，Logstash就可以将MySQL中的数据导入到ElasticSearch中了。