使用json filter 解析 并output输出到自定义动态数据库表中

可以使用 Logstash 的 json filter 插件来解析 JSON 日志，并使用 Logstash 的 jdbc output 插件将解析后的日志输出到自定义动态数据库表中。具体步骤如下：

1. 在 Logstash 的配置文件中添加 json filter 和 jdbc output 插件：

input {
  # 输入日志
  file {
    path => "/path/to/your/logfile.log"
  }
}

filter {
  # 解析 JSON 日志
  json {
    source => "message"
  }

  # 动态生成表名
  ruby {
    code => "
      event.set('table_name', 'my_logs_' + event.get('app_name').to_s.downcase)
    "
  }
}

output {
  # 输出到标准输出（可选）
  stdout { codec => rubydebug }

  # 输出到自定义动态数据库表
  jdbc {
    # 数据库连接信息
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    jdbc_user => "root"
    jdbc_password => "password"

    # 输出的表名和字段映射
    table => "%{table_name}"
    columns => {
      "timestamp" => "timestamp"
      "message" => "message"
      "username" => "username"
    }
  }
}

上述配置文件中，我们使用 file input 插件读取日志文件，然后使用 json filter 插件解析 JSON 日志。然后，使用 ruby filter 插件根据 event 中的字段值动态生成表名。最后，使用 jdbc output 插件将解析后的日志输出到自定义动态数据库表中。我们还可以使用 stdout output 插件将解析后的日志输出到标准输出（可选）。

2. 启动 Logstash：

bin/logstash -f /path/to/your/config.conf

上述命令中，-f 参数指定 Logstash 的配置文件路径。

3. 验证输出结果：

在数据库中查询输出的日志：

SELECT * FROM my_logs_app1;

上述 SQL 查询语句可以查询输出到 my_logs_app1 表中的所有日志。如果查询结果正确，则说明 Logstash 的配置文件已经正确地解析了 JSON 日志，并将解析后的日志输出到自定义动态数据库表中。