logstash怎么只获取filebeat写入Kafka的数组的部分数据,并去掉数组花括号

您好！如果您想要只获取filebeat写入Kafka的数组的部分数据，并去掉数组花括号，可以使用Logstash的filter插件来实现。具体步骤如下：

1. 在Logstash的配置文件中，添加filter插件，如下所示：

filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
  mutate {
    rename => {
      "[array][field]" => "new_field"
    }
    remove_field => ["array"]
  }
}

2. 在json插件中，设置source为message，表示从message字段中提取JSON格式的数据。

3. 在mutate插件中，使用rename选项来重命名数组中的某个字段，并使用remove_field选项来删除原有的数组字段。

4. 最后，您可以将处理后的数据输出到任意目标，如Elasticsearch、MySQL等。

注意：以上配置仅供参考，具体实现还需要根据您的实际需求进行调整。

相关问题

logstash怎么只获取filebeat写入Kafka的数据并去掉数组花括号

您好！如果您想要只获取filebeat写入Kafka的数据，并去掉数组花括号，可以使用Logstash的filter插件来实现。具体步骤如下：

1. 在Logstash的配置文件中，添加filter插件，如下所示：

filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
  mutate {
    remove_field => ["[array]"]
  }
}

2. 在json插件中，设置source为message，表示从message字段中提取JSON格式的数据。

3. 在mutate插件中，使用remove_field选项来删除整个数组字段。

4. 最后，您可以将处理后的数据输出到任意目标，如Elasticsearch、MySQL等。

注意：以上配置仅供参考，具体实现还需要根据您的实际需求进行调整。

logstash怎么只获取filebeat写入Kafka的数组的部分数据

如果你想让Logstash只获取filebeat写入Kafka的数组中的部分数据，可以在Logstash中使用JSON解析器来解析数组，然后使用filter插件来对解析后的数据进行处理。

具体的操作步骤如下：

1. 在Logstash的配置文件中，使用Kafka输入插件来消费Kafka中的数据。

2. 在输入插件中设置codec为json，这样Logstash就会将从Kafka中读取的数据解析为JSON格式。

3. 在filter插件中使用json解析器来解析数组，并选择需要的部分数据。

举个例子，假设你想要从filebeat发送的JSON数组中获取其中的message字段和timestamp字段，可以在Logstash的配置文件中添加如下filter插件配置：

filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
  mutate {
    rename => { "[timestamp]" => "event_timestamp" }
    remove_field => ["@timestamp"]
  }
}

上面的配置中，首先使用json解析器解析message字段中的JSON数组，并将解析后的结果放入到Logstash的事件中。

然后使用mutate插件重命名timestamp字段，并将其放入到event_timestamp字段中。

最后使用remove_field选项来删除不需要的字段。

通过这种方式，你就可以在Logstash中获取filebeat发送的JSON数组中的部分数据了。