logstash和filebeat 根据k8s命名空间生成可匹配的源的配置文件
时间: 2024-05-01 16:24:00 浏览: 138
以下是一个示例的logstash配置,用于根据Kubernetes命名空间生成可匹配的源:
```
input {
beats {
port => 5044
codec => json
}
}
filter {
if [kubernetes][namespace] {
mutate {
add_field => { "source" => "/var/log/containers/%{[kubernetes][namespace]}_%{[kubernetes][pod_name]}_%{[kubernetes][container_name]}.log" }
}
}
}
output {
elasticsearch {
hosts => ["elasticsearch:9200"]
index => "logs-%{+YYYY.MM.dd}"
}
}
```
以上配置中,使用了beats输入插件来接收filebeat发送的日志数据。在过滤器中,使用了kubernetes命名空间字段来生成可匹配的源。最后,使用elasticsearch输出插件将日志数据发送到Elasticsearch中。
对于filebeat,可以使用以下配置来收集Kubernetes中的日志:
```
filebeat.inputs:
- type: container
paths:
- /var/log/containers/*.log
processors:
- add_kubernetes_metadata:
in_cluster: true
namespace: ${NAMESPACE}
output.logstash:
hosts: ["logstash:5044"]
```
以上配置中,使用了container输入插件来收集Kubernetes容器日志。在处理器中,使用了add_kubernetes_metadata处理器来添加Kubernetes元数据。最后,使用logstash输出插件将日志数据发送到logstash中。请注意,这里使用了`${NAMESPACE}`来设置命名空间变量,需要在启动filebeat时传入相应的值。
阅读全文