spark的metrics
时间: 2023-08-01 15:08:35 浏览: 72
Spark的metrics是指在Spark中用于监控和度量系统性能的指标。它是基于Coda Hale Metrics Library的可配置Metrics系统。通过配置文件,我们可以对Spark的Metrics系统进行配置,并将Metrics的信息报告到不同的Sink,比如HTTP、JMX以及CSV文件。\[1\]
在Spark的安装包中的conf路径下,有一个metrics.properties文件,Spark在启动时会自动加载该文件。我们可以在该文件中进行Metrics的配置。如果该文件不存在,可以将metrics.properties.template重命名为metrics.properties即可。\[2\]
在Spark源码中,我们经常会看到类似longMetric("numOutputRows")的信息。这些指标的定义通常是在Driver端,而实际的+1或-1操作是在executor进行的。这些指标是通过Spark内部的机制进行传递的,具体的传递方式可以通过分析源码来了解。\[3\]
#### 引用[.reference_title]
- *1* *2* [Spark Metrics配置详解](https://blog.csdn.net/wuzhongdehua1/article/details/50868574)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [SPARK中metrics是怎么传递的](https://blog.csdn.net/monkeyboy_tech/article/details/128294869)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]