能够将yarn的一些指标和spark的一些指标做成映射的指标有哪些 以普罗米修斯标准指标数据为例
时间: 2024-05-17 14:18:07 浏览: 12
以下是一些可以将Yarn和Spark指标映射的示例指标,以普罗米修斯标准指标数据为例:
1. 内存使用情况:使用普罗米修斯的`jvm_memory_used_bytes`指标来监测Spark的内存使用情况,使用Yarn的`yarn_allocated_mb`和`yarn_allocated_vcores`指标来监测Yarn的内存使用情况。
2. CPU使用情况:使用普罗米修斯的`process_cpu_seconds_total`指标来监测Spark的CPU使用情况,使用Yarn的`CPU_MILLISECONDS`指标来监测Yarn的CPU使用情况。
3. 磁盘使用情况:使用普罗米修斯的`node_filesystem_avail_bytes`指标来监测Spark的磁盘使用情况,使用Yarn的`yarn_node_disk_avail_mb`指标来监测Yarn的磁盘使用情况。
4. 网络使用情况:使用普罗米修斯的`node_network_receive_bytes_total`和`node_network_transmit_bytes_total`指标来监测Spark的网络使用情况,使用Yarn的`yarn_node_network_rx_bytes`和`yarn_node_network_tx_bytes`指标来监测Yarn的网络使用情况。
5. 任务执行情况:使用普罗米修斯的`spark_job_duration_seconds`指标来监测Spark应用程序的执行时间,使用Yarn的`yarn_app_num_completed_tasks`和`yarn_app_num_failed_tasks`指标来监测Yarn应用程序的任务执行情况。
以上仅是一些示例指标,您可以根据需要选择要映射的指标,并使用普罗米修斯标准指标数据来监测和分析Yarn和Spark应用程序的性能和资源使用情况。