logstash为每个k8s命名空间自动创建索引

要为每个k8s命名空间自动创建Logstash索引，请按照以下步骤操作：

1. 在Logstash配置文件中添加以下内容：

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{[kubernetes][namespace]}-%{+YYYY.MM.dd}"
    user => "your_username"
    password => "your_password"
  }
}

2. 在Kibana中创建一个索引模式（Index Pattern），使用`*`通配符来匹配所有索引。例如，如果你的索引名称为`filebeat-7.2.0-default-2020.01.01`，那么你可以使用`filebeat-*`来匹配所有索引。

3. 现在，当Logstash将日志发送到Elasticsearch时，它会根据命名空间创建一个新的索引。例如，如果你有一个名为`my-namespace`的命名空间，那么Logstash将创建一个名为`filebeat-7.2.0-default-my-namespace-2020.01.01`的索引。你可以在Kibana中使用创建的索引模式来查看这些索引。

相关问题

logstash自动创建所有以k8s命名空间为名称的索引

要在Logstash中自动创建以Kubernetes命名空间名称为索引名称的索引，请按照以下步骤操作：

1.在Logstash配置文件中，添加以下内容：

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{kubernetes.namespace}"
  }
}

此配置将使用Logstash中的Kubernetes命名空间名称来创建索引名称。例如，如果命名空间名称为“my-namespace”，则索引名称将为“filebeat-7.1.1-my-namespace”。

2. 如果你使用了Filebeat或其他Beats，将以下内容添加到Filebeat配置文件的“output.elasticsearch”部分中：

output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "%{[beat.name]}-%{[beat.version]}-%{[kubernetes.namespace]}"

此配置将使用Filebeat中的Kubernetes命名空间名称来创建索引名称。

请确保Elasticsearch正在运行，并且Logstash和Filebeat正在将数据发送到Elasticsearch。如果一切正常，Logstash和Filebeat将使用Kubernetes命名空间名称来创建索引名称。

logstash和filebeat 根据k8s命名空间生成可匹配的源的配置文件

以下是一个示例的logstash配置，用于根据Kubernetes命名空间生成可匹配的源：

input {
  beats {
    port => 5044
    codec => json
  }
}

filter {
  if [kubernetes][namespace] {
    mutate {
      add_field => { "source" => "/var/log/containers/%{[kubernetes][namespace]}_%{[kubernetes][pod_name]}_%{[kubernetes][container_name]}.log" }
    }
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logs-%{+YYYY.MM.dd}"
  }
}

以上配置中，使用了beats输入插件来接收filebeat发送的日志数据。在过滤器中，使用了kubernetes命名空间字段来生成可匹配的源。最后，使用elasticsearch输出插件将日志数据发送到Elasticsearch中。

对于filebeat，可以使用以下配置来收集Kubernetes中的日志：

filebeat.inputs:
- type: container
  paths:
    - /var/log/containers/*.log
  processors:
    - add_kubernetes_metadata:
        in_cluster: true
        namespace: ${NAMESPACE}
output.logstash:
  hosts: ["logstash:5044"]

以上配置中，使用了container输入插件来收集Kubernetes容器日志。在处理器中，使用了add_kubernetes_metadata处理器来添加Kubernetes元数据。最后，使用logstash输出插件将日志数据发送到logstash中。请注意，这里使用了`${NAMESPACE}`来设置命名空间变量，需要在启动filebeat时传入相应的值。