使用logstash7.14从达梦数据库抽取数据到es

Logstash是一个强大的日志管理和分析工具，版本7.14主要用于实时收集、过滤和发送各种日志数据，包括从数据库中提取信息。要将达梦（DM）数据库的数据抽取并传输到Elasticsearch（ES），你可以按照以下步骤操作：

1. 安装Logstash：首先需要下载并安装Logstash 7.14，可以从其官方网站或通过包管理器（如RPM或DEB）获取。

2. 配置数据输入插件（inputs）：对于达梦数据库，你需要使用`jdbc`插件作为输入源。在`logstash.yml`配置文件中添加如下部分：

   input:
     jdbc:
       driver_library: "lib/dm.jdbc.jar" # 如果DM JDBC驱动不在默认路径，提供完整路径
       driver_class: "com.dmdb.jdbc.Driver"
       url: "jdbc:dm://your_host:port/your_database"
       username: "your_username"
       password: "your_password"
       schedule: "*/5 * * * *"  # 每五分钟执行一次查询，默认可以修改
       statement: "SELECT * FROM your_table;"  # 查询你要抓取的表

3. 数据过滤和转换：在`input`块下面，你可以添加`filter`来处理查询结果，例如选择特定字段、解析JSON等。

4. 输出到Elasticsearch：设置`output`部分，配置将数据发送到Elasticsearch集群：

   output:
     elasticsearch:
       hosts: ["localhost:9200"]  # ES服务器地址
       index: "your_index_name-%{+YYYY.MM.dd}"  # 自动创建日期索引
       document_type: "doc_type"  # 如果你的数据有固定的文档类型

5. 启动Logstash：运行`bin/logstash -f logstash.yml`命令，开始监控并处理数据。