logstash怎么只获取filebeat写入Kafka的部分数据

如果你想让Logstash只获取filebeat写入Kafka的部分数据，可以考虑在filebeat配置文件中使用processors选项来对数据进行处理，然后只将需要的数据发送到Kafka。具体的处理方式可以根据你的需求来选择，例如可以使用conditions选项来筛选需要的数据，或者使用drop_fields选项来删除不需要的数据。

举个例子，如果你只想将filebeat中type为nginx_access_log的数据发送到Kafka，可以在filebeat配置文件中添加如下processors选项：

processors:
- drop_fields:
    fields: ["type"]
- condition:
    equals:
      type: "nginx_access_log"

上面的配置中，首先使用drop_fields选项删除了type字段，然后使用condition选项筛选出type为nginx_access_log的数据。最后只有满足条件的数据会被发送到Kafka，其他数据会被过滤掉。在Logstash中，你可以使用Kafka输入插件来消费Kafka中的数据，并根据需要进行后续处理。

相关问题

logstash怎么只获取filebeat写入Kafka的数组的部分数据

如果你想让Logstash只获取filebeat写入Kafka的数组中的部分数据，可以在Logstash中使用JSON解析器来解析数组，然后使用filter插件来对解析后的数据进行处理。

具体的操作步骤如下：

1. 在Logstash的配置文件中，使用Kafka输入插件来消费Kafka中的数据。

2. 在输入插件中设置codec为json，这样Logstash就会将从Kafka中读取的数据解析为JSON格式。

3. 在filter插件中使用json解析器来解析数组，并选择需要的部分数据。

举个例子，假设你想要从filebeat发送的JSON数组中获取其中的message字段和timestamp字段，可以在Logstash的配置文件中添加如下filter插件配置：

filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
  mutate {
    rename => { "[timestamp]" => "event_timestamp" }
    remove_field => ["@timestamp"]
  }
}

上面的配置中，首先使用json解析器解析message字段中的JSON数组，并将解析后的结果放入到Logstash的事件中。

然后使用mutate插件重命名timestamp字段，并将其放入到event_timestamp字段中。

最后使用remove_field选项来删除不需要的字段。

通过这种方式，你就可以在Logstash中获取filebeat发送的JSON数组中的部分数据了。

logstash怎么只获取filebeat写入Kafka的数据并去掉数组花括号

您好！如果您想要只获取filebeat写入Kafka的数据，并去掉数组花括号，可以使用Logstash的filter插件来实现。具体步骤如下：

1. 在Logstash的配置文件中，添加filter插件，如下所示：

filter {
  json {
    source => "message"
    remove_field => ["message"]
  }
  mutate {
    remove_field => ["[array]"]
  }
}

2. 在json插件中，设置source为message，表示从message字段中提取JSON格式的数据。

3. 在mutate插件中，使用remove_field选项来删除整个数组字段。

4. 最后，您可以将处理后的数据输出到任意目标，如Elasticsearch、MySQL等。

注意：以上配置仅供参考，具体实现还需要根据您的实际需求进行调整。