spark k8s监控

Spark on Kubernetes (K8s) 的监控通常涉及以下几个方面：

1. **资源监控**：通过Kubernetes API，你可以监控Spark应用程序在K8s集群中占用的CPU、内存、Pod状态等资源情况。Kubernetes Dashboard是一个可视化工具，可以提供实时的资源使用概览。

2. **应用性能监控**：Spark-K8s提供了Prometheus适配器，允许收集应用程序的日志、指标数据，如任务完成率、处理速度等，通过Prometheus和Grafana这类开源监控系统进行展示，帮助识别性能瓶颈。

3. **Job状态跟踪**：Spark Job的状态（例如，运行、等待、已完成等）可以通过Kubernetes Events和Kubectl命令查询，了解作业的生命周期管理。

4. **自定义度量**：用户也可以选择使用第三方监测工具或SDK来扩展Spark-K8s的监控能力，例如JMX Exporter用于将Spark内部的metrics暴露给Prometheus。

5. **日志管理**：Spark-K8s会把应用程序的日志发送到K8s的日志管理系统，比如Elasticsearch、Fluentd或Kibana，便于搜索和分析。