spark on yarn 中 统计当前spark进程数据的指标有哪些 中英文分别是什么
时间: 2024-02-05 15:49:34 浏览: 130
在 Spark on YARN 中,可以使用 Spark 的 Web 界面查看当前 Spark 进程的数据指标。以下是常见的指标及其中英文名称:
- 活跃 Task 数量:Active Tasks
- 已完成 Task 数量:Completed Tasks
- 已失败 Task 数量:Failed Tasks
- 已取消 Task 数量:Cancelled Tasks
- 执行时间:Duration
- Shuffle 数据写入量:Shuffle Write Metrics
- Shuffle 数据读取量:Shuffle Read Metrics
- 输入数据量:Input Metrics
- 输出数据量:Output Metrics
- 内存占用量:Memory Metrics
- 磁盘占用量:Disk Metrics
- GC 时间:Garbage Collection Time
- GC 次数:Garbage Collection Count
这些指标可以帮助我们了解 Spark 应用程序的运行情况,进而优化应用程序的性能。
阅读全文